Denis Kulesov- Direttore del laboratorio Sensor-Tech.
Alexander Popov- capo progettista
Andrey Demchinsky- Responsabile dei progetti medici presso Sensor-Tech.
Neurotecnologie che rimuovono le restrizioni
Un uomo cammina per strada.In una mano ha un bastone bianco, con il quale sente la strada. Nell'altro c'è un piccolo oggetto nero che sembra una videocamera. L'uomo lo dirige prima davanti a sé, poi ai lati. I passanti non sanno che in questo momento nell'auricolare sente dei messaggi: “Auto, distanza - 5 metri. Uomo, distanza - 3 metri. "
Un'altra persona viene all'MFC."Ciao", dice l'operatore con un sorriso, e questa parola appare sullo schermo di fronte al visitatore. L'uomo ricambia il sorriso e inizia a digitare il problema sulla tastiera, che l'operatore leggerà sul monitor del computer. Un intermediario tra i non udenti e il mondo esterno è un piccolo dispositivo che converte il parlato in testo.
Entrambi i dispositivi sono sviluppati e prodotti in azienda"Sensor-Tech". Il suo direttore Denis Kuleshov ha iniziato a collaborare con organizzazioni per disabili mentre era ancora all'istituto: ha contribuito a condurre ricerche. A poco a poco, Denis si è reso conto che voleva lavorare in questa direzione e svilupparsi per le persone con disabilità. Pertanto, quando nel 2014 gli è stato offerto di entrare a far parte della ricerca scientifica della nuova fondazione So-Unificazione, ha subito accettato.
È stata costituita la Fondazione per il Sostegno ai Sordo-Ciechi "So-Unity".nell'aprile 2014. Si occupa della socializzazione dei sordociechi: apre centri di sostegno regionali, crea opportunità di lavoro, svago e autorealizzazione creativa; fornisce assistenza legale, psicologica e mirata.
Il fondo ha accumulato vari progetti, tra cuigiovanile e scientifica, legata ai temi della sordocecità, a cui Denis ha preso parte. "Ad un certo punto, è stato deciso che sarebbe stato molto più efficace e corretto sviluppare questo nel formato di un laboratorio separato che si occupasse di questi problemi in modo specializzato", ricorda Kuleshov.
Le sfumature dell'elettrodomestico
Nel 2017 è apparso il laboratorio Sensor-Tech,che è stata fondata dalla Fondazione So-Unificazione. Da subito sono iniziati i lavori per la realizzazione di gadget per non udenti e non vedenti. A tal fine è stata assegnata una sovvenzione dell'Iniziativa scientifica e tecnologica nell'ambito della tabella di marcia Neuronet.
La condizione per ricevere la sovvenzione era il cofinanziamento del progetto: il 70% veniva stanziato da NTI, il resto del denaro doveva essere trovato dagli stessi sviluppatori. Il 30% mancante è stato fornito dalla So-Unification Foundation.
Il lavoro del laboratorio doveva essere costruito da zero:formò un ufficio di progettazione e un impianto pilota, dove venivano assemblati i prototipi dei dispositivi. Il primo problema affrontato dagli sviluppatori è la mancanza di esperienza nella creazione di elettrodomestici. La loro precedente esperienza nella strumentazione era principalmente legata all'industria della difesa.
Il primo prototipo di un dispositivo per non vedenti si è rivelato esseretroppo ingombrante e scomodo da usare. Dopo aver ricevuto feedback dagli utenti, gli sviluppatori lo hanno seriamente trasformato. Era necessario che il dispositivo funzionasse senza interruzioni, fosse comodo e comprensibile da usare.
Ora il laboratorio ha sviluppato un dispositivo per non vedenti e ipovedenti - "Robin" e un dispositivo per persone con disabilità uditive - "Charlie".
“Il mercato dei dispositivi per le persone con disabilità non è molto ampio,tutta la produzione è su piccola scala e costosa ", afferma Denis. Questo è il motivo del prezzo piuttosto alto dei dispositivi: "Robin" costa 150 mila rubli, "Charlie" - 195 mila rubli. Pertanto, i produttori stanno negoziando con il governo per includere le loro invenzioni nell'elenco dei mezzi di riabilitazione tecnica: in questo caso, il governo compenserà i costi di acquisto.
Dimmi cosa vedi
Esternamente "Robin" ricorda una fotocamera portatile.I sensori scansionano gli oggetti e l'intelligenza artificiale determina cosa c'è di fronte all'utente: un'auto, un tavolo, un computer o un'altra persona. In totale, nella memoria del dispositivo sono presenti più di 50 oggetti. Se carichi le foto lì, riconosce la persona e dice il suo nome. Per usare "Robin" al buio, è stata incorporata una torcia. In questo caso, il gadget non solo nomina l'oggetto, ma ne stima anche la distanza.
La prima versione di "Robin" non ha avuto successo.Affinché il dispositivo rilevi un oggetto, è stato necessario puntare il dispositivo, premere il pulsante e attendere almeno 2 secondi. Ma si è scoperto che questo era scomodo per gli utenti: subito dopo aver premuto il pulsante, hanno iniziato a guidare il dispositivo da un lato all'altro. Per questo motivo, le informazioni espresse da "Robin" si sono rivelate irrilevanti: stava descrivendo oggetti che ha riconosciuto prima di essere spostato.
“Sapevamo come aiutare il dispositivo e dove farlodiretto e le persone non avevano tale esperienza. Per questo motivo, sembrava loro che il dispositivo non funzionasse bene ", spiega Alexander. Quindi gli sviluppatori hanno deciso di cambiare il principio di lavoro. Il tempo di feedback dal dispositivo è stato ridotto a un secondo, mentre il "Robin" funzionava solo quando veniva premuto il pulsante. Questa opzione si è rivelata più chiara e semplice per gli utenti.
“Non ci sono concorrenti diretti, cioè dispositivi con le stesse funzioni, sul mercato. Ma ci sono analoghi, ad esempio OrCam ", afferma Alexander.
OrCam MyEye e OrCam MyReader- dispositivi portatili per la visione artificiale,che sono prodotti dall'omonima azienda israeliana. Sono una piccola telecamera wireless che può essere fissata all'asta degli occhiali. Il primo dispositivo legge testi stampati e digitali, codici a barre dei prodotti, riconosce i volti e pronuncia le informazioni ricevute. Il secondo viene utilizzato solo per la lettura dei testi. I gadget supportano 17 lingue e non richiedono una connessione Internet.
La voce si trasforma in testo
"Charlie" è destinato a persone con problemiudito. Al suo sviluppo hanno partecipato persone con esperienza nell'insegnamento per i non udenti. Pertanto, gli sviluppatori erano consapevoli delle difficoltà che si presentano nel processo di comunicazione e delle richieste di entrambe le parti.
Il dispositivo rileva il parlato a una distanza di 2 m elo visualizza sullo schermo come testo. Il gadget può essere utilizzato anche da non vedenti - per questo, un display Braille è collegato al "Charlie". Ti consente di leggere le informazioni con le dita e di inserire una risposta.
Braille è stato sviluppato nel 1824.È un sistema di punti convessi e vuoti tra di loro. Ogni carattere è codificato utilizzando un traliccio 3x2. La combinazione di punti all'interno di ogni cella corrisponde a una lettera o a un segno di punteggiatura. Se il testo cambia la scrittura, ad esempio, da latino a cirillico, questo è indicato anche da un simbolo speciale.
Gli sviluppatori dicono che gli analoghi di "Charlie" suanche il mercato no. Numerosi programmi che traducono il parlato in testo sono progettati principalmente per l'interazione uomo-computer e non per la comunicazione tra due persone.
La prima macchina in grado di riconoscere la voceè apparso negli anni '50 all'interno delle mura di Bell Labs. Il dispositivo ha determinato numeri da zero a nove. Allo stesso tempo, la macchina comprendeva molto meglio l'inventore: quando parlava, la precisione della riproduzione era di circa il 90%. Il dispositivo ha riconosciuto correttamente il parlato di altre persone solo nel 70-80% dei casi.
Fino agli anni '90 si basava sul riconoscimento vocalemodelli: le onde sonore sono state tradotte in una serie di numeri e il risultato è stato visualizzato quando il parlato corrispondeva al campione. Pertanto, per la corretta interpretazione dei segnali vocali, è stato necessario eliminare i rumori di fondo, parlare lentamente e chiaramente.
Il primo riconoscimento vocale che non richiedeva pause tra le parole è stato NaturallySpeaking di Dragon. È apparso nel 1997 ed è ancora in uso oggi.
Apprendimento automatico e tecnologie di intelligenza artificiale in modo significativoha migliorato il sistema di riconoscimento vocale e ha permesso di adattare gli algoritmi alle modalità di comunicazione individuali di ciascuna persona. Il risultato è stato l'emergere di assistenti vocali: Google Assistant, Siri di Apple, Alexa di Amazon, "Alice" di Yandex. Inoltre, ci sono applicazioni speciali, ad esempio ListNote, SpeechNotes, per il riconoscimento vocale, la traduzione di una voce in un messaggio di testo. Alcune applicazioni, come Speechlogger, possono persino eseguire la traduzione simultanea da una lingua all'altra.
Con l'aiuto di "Charlie" gli interlocutori potranno comunicaretra loro senza ricorrere a un intermediario. Inoltre, il dispositivo può essere utilizzato per la comunicazione remota, ad esempio per lezioni nelle università o per riunioni. È sufficiente che il presentatore metta "Charlie" accanto a lui e gli ascoltatori si colleghino al programma tramite il collegamento. Il parlato decodificato verrà visualizzato sullo schermo di uno smartphone o di un computer in tempo reale.
Vedere di nuovo il mondo
Inoltre, "Sensor-Tech" partecipa alla ricerca scientifica relativa all'uso delle neurotecnologie per il ritorno della vista.
Tutto è iniziato nel 2016 a livello internazionaleconferenze negli USA. Lì, i rappresentanti della So-Unification Foundation hanno incontrato un'azienda americana che si occupa di visione bionica. Hanno deciso di condurre un esperimento in Russia per impiantare chip bionici nei ciechi.
“Il dispositivo potrebbe non essere applicabile a tuttidei ciechi, questo è un pool abbastanza ristretto di malattie, principalmente la retinite pigmentosa. La particolarità è che con esso muore solo uno strato di cellule, che trasforma la luce in un segnale elettrico. Il resto delle cellule rimane in vita ", spiega Denis.
Retinite pigmentosa- una malattia ereditaria associata aCromosoma X. Con questa patologia le cellule della retina che raccolgono le immagini e le trasmettono lungo il nervo ottico al cervello vengono gradualmente distrutte. La malattia inizia con la perdita della visione laterale e notturna e alla fine porta alla completa cecità. Non esistono misure preventive efficaci contro la retinite pigmentosa, né metodi di trattamento. L'impianto di microchip è ancora in fase di sviluppo e i medici suggeriscono anche che la terapia genica e il trattamento con cellule staminali potrebbero diventare una svolta.
Di conseguenza, nelle banche dati dei fondi So-Unificazione e Arte, Scienza e Sport ha trovato due persone con la diagnosi giusta chenon c'erano patologie concomitanti. Nel 2017 gli impianti sono stati installati a Grigory Ulyanov e Antonina Zakharchenko. I fondi per l'operazione sono stati stanziati dalla Fondazione Alisher Usmanov.
Fondazione Alisher Usmanov "Arte, Scienza e Sport"fondata nel 2006. Finanzia progetti educativi e scientifici (collabora con MGIMO, MISiS), sostiene musei e teatri (Sovremennik, Galleria Tretyakov, l'ensemble di Igor Moiseev e altri). La fondazione promuove anche stili di vita sani e organizza concorsi, anche per persone con disabilità.
Durante l'operazione, viene posizionata la retina del pazienteimpianto con elettrodi. È associato a occhiali speciali con una fotocamera integrata. Le informazioni dalla fotocamera vengono trasmesse a un microcomputer, che elabora l'immagine e invia segnali all'impianto. Gli impulsi elettrici vengono trasmessi lungo il nervo ottico al cervello, dove si forma un'immagine.
L'impianto ha 60 elettrodi, che possono essere confrontatiun'immagine di 60 pixel - in base al numero di punti stimolati dall'impianto. Con il suo aiuto, puoi ottenere un'immagine solo di oggetti abbastanza grandi: finestre, porte, tavoli, automobili. Gli oggetti più piccoli possono fuoriuscire dalla "matrice" formata dagli elettrodi o i dati non sono sufficienti per identificarli.
Dal momento che il paziente non ha le cellule responsabiliresa cromatica, l'immagine è in bianco e nero. Ma rispetto alla completa cecità, anche una visione così limitata dal punto di vista di una persona sana espande significativamente le capacità dei pazienti. Possono orientarsi nello spazio anche in condizioni sconosciute senza aiuti esterni o dispositivi aggiuntivi e diventare abbastanza indipendenti.
Sensor-Tech sperava che l'operazione lo consentisseregistrare gli impianti in Russia e renderli disponibili nell'ambito dell'assistenza medica high-tech. Ma è sorto un problema: il ministero della Salute ha ritenuto che due operazioni non bastassero per trarre una conclusione sulla sicurezza degli impianti. Gli americani, a loro volta, si rifiutarono di condurre ulteriori esperimenti, poiché non vi era alcuna garanzia che questo metodo sarebbe stato infine approvato.
“In termini di protesi oculari, la storia è finita.Ma questo è anche buono, perché ha una continuazione sotto forma di impianti corticali, che vengono inseriti nel cervello. È lì che avviene l'elaborazione visiva delle informazioni. I chip possono essere utilizzati per qualsiasi tipo di cecità, a differenza di quelli per gli occhi. Questa è una soluzione più high-tech ", afferma Denis.
Già nel 2021 l'azienda ha presentato il primosviluppo in una nuova direzione. Questo è il primo neuroimpianto ELVIS per il cervello in Russia; aiuta a ripristinare la vista a persone cieche e sordocieche. Il dispositivo ha un impianto che si installa nel cervello, un cerchio con due telecamere da indossare sulla testa - assumono la funzione degli occhi e un microcomputer che analizza l'immagine e la trasmette al cervello. La tecnologia permette di distinguere le sagome di oggetti, persone e di capire la posizione degli oggetti.
Mentre il sistema viene testato sui roditori, seguiranno i test sulle scimmie. Nel 2024, 10 volontari ciechi stanno pianificando l'installazione di un impianto corticale.
Impianti visivi corticaliinstallato nella corteccia cerebrale.Stimolano le aree visive, provocando sensazioni visive. Secondo gli esperti, ciò consentirà di modificare la luminosità delle immagini e garantire la resa dei colori, cosa impossibile quando si utilizzano impianti bionici. Le prime operazioni per impiantare impianti corticali furono eseguite negli anni '70 del secolo scorso. E nel 2018, la società americana Second Sight ha installato pubblicamente moderni neuroimpianti sui primi volontari ciechi. La tecnologia è in fase di sperimentazione clinica.
Ricerca scientifica e mercati esteri
Tra i casi di laboratorio ve ne sono altrisviluppo. Ad esempio, insieme a un operatore di telefonia mobile, è stata sviluppata un'applicazione gratuita per telefoni cellulari per aiutare i non vedenti a determinare il taglio delle banconote. È disponibile su iOS e Android.
Per conoscere il taglio della cambiale basta puntare su di essa la fotocamera del proprio smartphone. L'IA identificherà la banconota e le nominerà. E se punti la fotocamera su più banconote contemporaneamente, il dispositivo calcolerà immediatamente l'importo.
Se l'applicazione è utilizzata da una persona conipovedenti e non udenti, che non possono sentire la voce recitare, il taglio di una banconota può essere riconosciuto tramite vibrazione - tagli diversi hanno le proprie modalità.
Se il telefono non riesce a riconoscere la bolletta, può esserloscatta una foto e aggiungila al database tramite la funzione "Aiuto agli sviluppatori". Di solito la necessità di questo sorge quando si emettono banconote commemorative nuove o rare.
Oltre alla produzione di dispositivi, Sensor-Techimpegnata nella ricerca scientifica nel campo della sordocecità. "Vogliamo chiarire alle persone sane come coloro che hanno problemi di vista o udito percepiscono il mondo in generale", afferma Andrey.
Visualizza questo post su Instagram
Quindi, in laboratorio, sono stati creati simulatori di violazionivisione: simulatore VR See My World e la sua versione mobile SMW Pro. Il "rumore" è sovrapposto all'immagine statica o in tempo reale. Di conseguenza, l'immagine viene distorta in base a uno specifico difetto visivo. Ad esempio, diventa sfocato o appare una macchia nera al centro dell'immagine.
“Simuliamo i sintomi di come una persona convari disturbi visivi. Letteralmente: come guardare attraverso gli occhi di una persona che ha cataratta, miopia, astigmatismo, glaucoma ", afferma Andrey. Inoltre, utilizzando il simulatore, puoi monitorare la dinamica della malattia nel tempo. Questo aiuta i medici e gli studenti a comprendere meglio il quadro clinico e i parenti stretti del paziente: guardano letteralmente il mondo attraverso i suoi occhi.
"Affinché l'immagine sia il più affidabile possibile,per crearlo, viene utilizzato il quadro clinico della malattia. Inoltre, chiariamo il risultato del paziente in modo che confermi se vede in questo modo, se la sua vista non è ancora gravemente danneggiata ", spiega Andrey.
Ora gli sviluppatori vogliono promuovere il lorodispositivi nei mercati di Europa e USA. Si prevede di mettere gadget su Amazon e, inoltre, di andare ad agenzie governative e organizzazioni pubbliche che si occupano dei problemi dei disabili. Denis è fiducioso che il mercato dello sviluppo di applicazioni non potrà che crescere. E il direttore del laboratorio Sensor-Tech vede la sua missione nel rendere più facile la vita delle persone con disabilità grazie alla tecnologia.
Leggi di più:
L'intelligenza artificiale ha risolto un problema biologico che gli scienziati combattono da 50 anni
Un millisecondo invece di 30 trilioni di anni per un compito: la Cina ha introdotto un nuovo computer quantistico
Gli scienziati stanno cercando persone che non possono essere infettate da COVID-19. Sulla base dei loro dati, faranno una medicina