Denis Kuleshov- Director al laboratorului Sensor-Tech.
Alexandru Popov- Designer sef
Andrei Demchinsky- Șef de proiecte medicale la Sensor-Tech.
Neurotehnologii care elimină restricțiile
Un bărbat merge pe stradă.Într-o mână are un baston alb, cu care simte drumul. În celălalt, există un mic obiect negru care arată ca o cameră video. Bărbatul îl direcționează mai întâi în fața lui, apoi în lateral. Trecătorii nu știu că în acest moment în cască aude îndemnuri: „Mașină, distanță - 5 metri. Omule, distanță - 3 metri."
O altă persoană vine la MFC.„Bună”, spune operatorul cu un zâmbet, iar acest cuvânt apare pe ecran cu fața către vizitator. Bărbatul îi zâmbește înapoi și începe să tasteze problema pe tastatură, pe care operatorul o va citi pe monitorul computerului. Un intermediar între persoanele cu probleme de auz și lumea exterioară este un mic dispozitiv care convertește vorbirea în text.
Ambele dispozitive sunt dezvoltate și fabricate în companie„Senzor-Tech”. Directorul său, Denis Kuleshov, a început să coopereze cu organizațiile pentru persoanele cu dizabilități în timp ce era încă la institut: a ajutat la efectuarea cercetărilor. Treptat, Denis și-a dat seama că își dorește să lucreze în această direcție și să se dezvolte pentru persoanele cu dizabilități. Prin urmare, când în 2014 i s-a propus să se alăture cercetării științifice a noii fundații So-Unification, a fost imediat de acord.
A fost înființată Fundația pentru Sprijinirea Surdo-orbilor „So-Unity”.în aprilie 2014. Se ocupă de socializarea surdo-orbilor: deschide centre regionale de sprijin, creează oportunități de angajare, petrecere a timpului liber și autorealizare creativă; oferă asistență juridică, psihologică și direcționată.
Fondul a acumulat diverse proiecte, inclusivtineret și științific, legate de problemele surdo-cecității, la care a participat Denis. „La un moment dat, s-a decis că ar fi mult mai eficient și mai corect să se dezvolte acest lucru în formatul unui laborator separat care se ocupă de aceste probleme într-o manieră specializată”, își amintește Kuleshov.
Nuanțele aparatului de uz casnic
În 2017, a apărut laboratorul Sensor-Tech,care a fost fondată de Fundaţia So-Unificare. Imediat au început lucrările la crearea de gadgeturi pentru persoanele cu deficiențe de auz și nevăzători. Pentru aceasta a fost alocat un grant din partea Inițiativei Științifice și Tehnologice în cadrul foii de parcurs Neuronet.
Condiția pentru primirea grantului a fost cofinanțarea proiectului: 70% a fost alocată de NTI, restul banilor trebuiau să fie găsiți chiar de dezvoltatori. Cele 30% care lipsesc au fost asigurate de Fundația So-Unificare.
Lucrarea laboratorului a trebuit să fie construită de la zero:a format un birou de proiectare și o fabrică pilot, unde au fost asamblate prototipuri de dispozitive. Prima problemă cu care se confruntă dezvoltatorii este lipsa de experiență în crearea de electrocasnice. Experiența lor anterioară în instrumentare a fost legată în principal de industria de apărare.
Primul prototip al unui dispozitiv pentru nevăzători s-a dovedit a fiprea greoaie și incomod de utilizat. După ce au primit feedback de la utilizatori, dezvoltatorii l-au transformat serios. A fost necesar ca dispozitivul să funcționeze fără întreruperi, să fie convenabil și ușor de utilizat.
Acum, laboratorul a dezvoltat un dispozitiv pentru nevăzători și cu deficiențe de vedere – „Robin” și un dispozitiv pentru persoanele cu dizabilități de auz – „Charlie”.
„Piața dispozitivelor pentru persoanele cu dizabilități nu este foarte mare,toată producția este la scară mică și costisitoare ”, spune Denis. Acesta este motivul prețului destul de ridicat al dispozitivelor: „Robin” costă 150 de mii de ruble, „Charlie” - 195 mii de ruble. Prin urmare, producătorii negociază cu guvernul pentru a include invențiile lor în lista mijloacelor de reabilitare tehnică - în acest caz, guvernul va compensa costurile de achiziție.
Spune-mi ce vezi
În exterior, „Robin” seamănă cu o cameră portabilă.Senzorii scanează obiecte, iar inteligența artificială determină ceea ce se află în fața utilizatorului - o mașină, o masă, un computer sau o altă persoană. În total, în memoria dispozitivului există peste 50 de obiecte. Dacă încărcați fotografii acolo, aceasta recunoaște persoana și îi spune numele. Pentru a folosi „Robin” în întuneric, a fost încorporată o lanternă. În acest caz, gadgetul nu numai că denumește obiectul, ci estimează și distanța până la acesta.
Prima lansare a lui „Robin” nu a avut succes.Pentru ca dispozitivul să detecteze un obiect a fost necesar să îndreptați dispozitivul, să apăsați butonul și să așteptați cel puțin 2 secunde. Dar s-a dovedit că acest lucru a fost incomod pentru utilizatori: imediat după apăsarea butonului, au început să conducă dispozitivul dintr-o parte în alta. Din această cauză, informațiile exprimate de „Robin” s-au dovedit a fi irelevante: el descria obiecte pe care le-a recunoscut înainte de a fi mutat.
„Știam cum să ajutăm dispozitivul și undedirect, iar oamenii nu au avut o asemenea experiență. Din această cauză, li s-a părut că dispozitivul nu funcționează bine ”, explică Alexander. Apoi dezvoltatorii au decis să schimbe principiul de lucru. Timpul de feedback de la dispozitiv a fost redus la o secundă, în timp ce „Robin” a funcționat doar când butonul era apăsat. Această opțiune s-a dovedit a fi mai clară și mai ușoară pentru utilizatori.
„Nu există concurenți direcți, adică dispozitive cu aceleași funcții, pe piață. Dar există analogi, de exemplu, OrCam ”, spune Alexander.
OrCam MyEye și OrCam MyReader- dispozitive portabile de vedere artificială,care sunt produse de compania israeliană cu același nume. Sunt o cameră mică fără fir care poate fi atașată la tâmpla ochelarilor. Primul dispozitiv citește text tipărit și digital, coduri de bare ale produselor, recunoaște fețele și rostește informațiile primite. Al doilea este folosit doar pentru citirea textelor. Gadgeturile acceptă 17 limbi și nu necesită o conexiune la internet.
Vocea se transformă în text
„Charlie” este destinat persoanelor cu probleme cuauz. La dezvoltarea acestuia au participat persoane cu experiență în predarea persoanelor cu deficiențe de auz. Prin urmare, dezvoltatorii au fost conștienți de dificultățile care apar în procesul de comunicare și de solicitările ambelor părți.
Aparatul preia vorbirea la o distanta de 2 m siîl afișează pe ecran ca text. Gadgetul poate fi folosit și de surdo-orbi - pentru aceasta, un afișaj Braille este conectat la „Charlie”. Vă permite să citiți informații cu degetele și să introduceți un răspuns.
Braille a fost dezvoltat în 1824.Este un sistem de puncte convexe și goluri între ele. Fiecare caracter este codificat folosind un spalier 3x2. Combinația de puncte din fiecare celulă corespunde unei litere sau unui semn de punctuație. Dacă textul schimbă scrierea, de exemplu, din latină în chirilică, acest lucru este indicat și printr-un simbol special.
Dezvoltatorii spun că analogii lui "Charlie" penici piata nu. Numeroase programe care traduc vorbirea în text sunt concepute în primul rând pentru interacțiunea om-calculator și nu pentru ca două persoane să comunice între ele.
Prima mașină capabilă de recunoaștere a vociia apărut în anii 50 între zidurile Bell Labs. Aparatul determina numere de la zero la nouă. În același timp, aparatul l-a înțeles mult mai bine pe inventator: când a vorbit, acuratețea reproducerii era de aproximativ 90%. Dispozitivul a recunoscut corect vorbirea altor persoane doar în 70-80% din cazuri.
Până în anii 90, recunoașterea vorbirii se baza peșabloane: undele sonore au fost traduse într-un set de numere, iar rezultatul a fost afișat atunci când vorbirea se potrivea cu eșantionul. Prin urmare, pentru interpretarea corectă a semnalelor vocale, a fost necesar să se elimine zgomotul de fond, să se vorbească încet și clar.
Primul dispozitiv de recunoaștere a vorbirii care nu a necesitat pauze între cuvinte a fost Dragon's NaturallySpeaking. A apărut în 1997 și este încă în uz astăzi.
Învățarea automată și tehnologiile AI în mod semnificativa îmbunătățit sistemul de recunoaștere a vorbirii și a făcut posibilă adaptarea algoritmilor la modul individual de comunicare a fiecărei persoane. Rezultatul a fost apariția asistenților vocali: Google Assistant, Siri de la Apple, Alexa de la Amazon, „Alice” de la Yandex. În plus, există aplicații speciale, de exemplu, ListNote, SpeechNotes, pentru recunoașterea vorbirii, traducerea unei voci într-un mesaj text. Unele aplicații, cum ar fi Speechlogger, pot efectua chiar și traduceri simultane dintr-o limbă în alta.
Cu ajutorul lui „Charlie” interlocutorii vor putea comunicaunul cu celălalt fără a apela la un intermediar. În plus, dispozitivul poate fi folosit pentru comunicare la distanță, de exemplu, pentru prelegeri la universități sau pentru organizarea de întâlniri. Este suficient ca prezentatorul să pună „Charlie” lângă el, iar ascultătorii - să se conecteze la program prin link. Discursul decodat va fi afișat pe ecranul unui smartphone sau computer în timp real.
Vezi lumea din nou
De asemenea, „Sensor-Tech” participă la cercetări științifice legate de utilizarea neurotehnologiilor pentru revenirea vederii.
Totul a început în 2016 la un internaționalconferințe în SUA. Acolo, reprezentanții Fundației So-Unification s-au întâlnit cu o companie americană care se ocupă de viziunea bionică. Aceștia au convenit să efectueze un experiment în Rusia pentru a implanta cipuri bionice la nevăzători.
„Este posibil ca dispozitivul să nu fie aplicabil tuturorpentru nevăzători, acesta este un grup destul de îngust de boli, în principal retinita pigmentară. Particularitatea este că, odată cu el, moare un singur strat de celule, ceea ce transformă lumina într-un semnal electric. Restul celulelor rămân în viață”, explică Denis.
Retinită pigmentară- o boală ereditară asociată cucromozomul X. Cu această patologie, celulele retiniene care colectează imagini și le transmit de-a lungul nervului optic către creier sunt treptat distruse. Boala începe cu pierderea vederii laterale și nocturne și în cele din urmă duce la orbire completă. Nu există măsuri preventive eficiente împotriva retinitei pigmentare, precum și nici metode de tratament. Implantarea de microcipuri este încă în curs de dezvoltare, iar medicii sugerează, de asemenea, că terapia genică și tratamentul cu celule stem ar putea deveni o descoperire.
Ca urmare, în bazele de date ale fondurilor So-Unificare și Artă, Știință și Sport a găsit două persoane cu diagnosticul corect carenu au existat patologii concomitente. În 2017, implanturile au fost instalate în Grigory Ulyanov și Antonina Zakharchenko. Fondurile pentru operațiune au fost alocate de Fundația Alisher Usmanov.
Fundația Alisher Usmanov „Artă, Știință și Sport”fondată în 2006. Finanțează proiecte educaționale și științifice (cooperează cu MGIMO, MISiS), sprijină muzee și teatre (Sovremennik, Galeria Tretiakov, ansamblul lui Igor Moiseev și altele). De asemenea, fundația promovează un stil de viață sănătos și organizează concursuri, inclusiv pentru persoanele cu dizabilități.
În timpul operației se plasează retina pacientuluiimplant cu electrozi. Este asociat cu ochelari speciali cu cameră încorporată. Informațiile de la cameră sunt transmise unui microcomputer, care procesează imaginea și trimite semnale către implant. Impulsurile electrice sunt transmise de-a lungul nervului optic către creier, unde se formează o imagine.
Implantul are 60 de electrozi, cu care pot fi comparațio poza de 60 pixeli – in functie de numarul de puncte stimulate de implant. Cu ajutorul acestuia, puteți obține o imagine a obiectelor suficient de mari - ferestre, uși, mese, mașini. Obiectele mai mici pot cădea din „matricea” pe care o formează electrozii, sau datele sunt insuficiente pentru a le identifica.
Deoarece pacientul nu are celulele responsabile pentruredarea culorilor, imaginea este alb-negru. Dar, în comparație cu orbirea completă, chiar și o astfel de vedere limitată din punctul de vedere al unei persoane sănătoase extinde semnificativ capacitățile pacienților. Ei pot naviga în spațiu chiar și în condiții nefamiliare fără ajutor extern sau dispozitive suplimentare și devin destul de independenți.
Sensor-Tech a sperat că operațiunea va permiteînregistrați implanturile în Rusia și puneți-le la dispoziție în cadrul asistenței medicale de înaltă tehnologie. Dar a apărut o problemă: Ministerul Sănătății a considerat că două operații nu sunt suficiente pentru a trage o concluzie despre siguranța implanturilor. Americanii, la rândul lor, au refuzat să mai efectueze experimente, deoarece nu exista nicio garanție că această metodă va fi în cele din urmă aprobată.
„În ceea ce privește implanturile oculare, povestea s-a încheiat.Dar acest lucru este chiar bine, pentru că are o continuare sub formă de implanturi corticale, care sunt plasate în creier. Acolo are loc procesarea vizuală a informațiilor. Chips-urile pot fi folosite pentru orice fel de orbire, spre deosebire de cele pentru ochi. Aceasta este o soluție mai high-tech ”, spune Denis.
Deja în 2021, compania a prezentat primuldezvoltare într-o nouă direcție. Acesta este primul neuroimplant ELVIS pentru creier din Rusia; ajută la restabilirea vederii persoanelor orbi și surdo-orbi. Dispozitivul are un implant care este instalat în creier, un cerc cu două camere de purtat pe cap - acestea preiau funcția ochilor și un microcomputer care analizează imaginea și o transmite creierului. Tehnologia face posibilă distingerea siluetele obiectelor, oamenilor și înțelegerea locației obiectelor.
În timp ce sistemul este testat pe rozătoare, vor urma teste pe maimuțe. În 2024, 10 voluntari nevăzători plănuiesc să instaleze un implant cortical.
Implanturi vizuale corticaleinstalat în cortexul cerebral.Ele stimulează zonele vizuale, rezultând senzații vizuale. Potrivit experților, acest lucru va face posibilă modificarea luminozității imaginilor și asigurarea redării culorilor, ceea ce este imposibil atunci când se utilizează implanturi bionice. Primele operații de implantare a implanturilor corticale au fost efectuate încă din anii 70 ai secolului trecut. Și în 2018, compania americană Second Sight a instalat public neuroimplanturi moderne pe primii voluntari nevăzători. Tehnologia este în curs de studii clinice.
Cercetare științifică și piețe de peste mări
Printre cazurile de laborator sunt și alteledezvoltare. De exemplu, o aplicație gratuită pentru telefoane mobile a fost dezvoltată împreună cu un operator de telefonie mobilă pentru a ajuta persoanele nevăzătoare să determine valoarea nominală a bancnotelor. Este disponibil pe iOS și Android.
Pentru a afla valoarea nominală a unei facturi, trebuie doar să îndreptați camera smartphone-ului spre ea. AI va identifica bancnota și o va denumi. Și dacă îndreptați camera către mai multe facturi în același timp, dispozitivul va calcula imediat suma acestora.
Dacă aplicația este utilizată de o persoană cudizabilități de vedere și auz, care nu aude vocea care acționează, denumirea bancnotei poate fi recunoscută folosind vibrații - pentru diferite denumiri, sunt prevăzute propriile moduri.
Dacă telefonul nu poate recunoaște factura, putețifaceți o poză și adăugați-o în baza de date prin funcția „Ajutor pentru dezvoltatori”. De obicei, necesitatea acestui lucru apare la emiterea unor note comemorative noi sau rare.
Pe lângă producția de dispozitive, Sensor-Techsunt angajați în cercetări științifice în domeniul surdo-cecității. „Vrem să îi facem pe oameni sănătoși să înțeleagă cum percep lumea în general cei care au vedere sau auzul afectat”, spune Andrey.
Vezi această postare pe Instagram
Deci, în laborator au creat simulatoare de încălcărivizualizare: simulatorul VR See My World și versiunea sa mobilă SMW Pro. „Interferența” este suprapusă pe imaginea live sau pe o imagine statică. Ca urmare, imaginea este distorsionată în funcție de defectul vizual specific. De exemplu, devine neclară sau apare o pată neagră în centrul imaginii.
„Simulăm simptomele modului în care o persoană cudiverse deficiențe de vedere. Literal: cum să privești prin ochii unei persoane care are cataractă, miopie, astigmatism, glaucom ”, spune Andrey. De asemenea, folosind simulatorul, puteți urmări dinamica bolii în timp. Acest lucru ajută medicii și studenții să studieze mai bine tabloul clinic, iar rudele apropiate ale pacientului - literalmente privesc lumea prin ochii lui.
„Pentru a face imaginea cât mai precisă posibil,pentru a-l crea se folosește tabloul clinic al bolii. În plus, clarificăm rezultatul cu pacientul, astfel încât să poată confirma dacă vede așa, dacă vederea nu este grav afectată încă”, explică Andrey.
Acum dezvoltatorii doresc să-și promovezedispozitive de pe piețele europene și americane. Este planificată să pună gadgeturile pe Amazon și, în plus, să ajungă la organismele guvernamentale și organizațiile publice care se ocupă de problemele persoanelor cu dizabilități. Denis este încrezător că piața dezvoltărilor aplicate va crește. Iar directorul laboratorului Sensor-Tech își vede misiunea de a face viața mai ușoară persoanelor cu dizabilități datorită tehnologiei.
Citeste mai mult:
AI a rezolvat o problemă biologică cu care oamenii de știință se luptă de 50 de ani
O milisecundă în loc de 30 de trilioane de ani pentru o sarcină: China a introdus un nou computer cuantic
Oamenii de știință caută persoane care nu pot fi infectate cu COVID-19. Pe baza datelor lor, vor face un medicament