Denis Kuleshov- A Sensor-Tech laboratórium igazgatója.
Alekszandr Popov- Főtervező
Andrej Demcsinszkij- Orvosi projektek vezetője a Sensor-Tech-nél.
Neurotechnológiák, amelyek megszüntetik a korlátozásokat
Egy férfi sétál az utcán.Egyik kezében van egy fehér vessző, amivel tapogatja az utat. A másikban van egy kis fekete tárgy, ami úgy néz ki, mint egy videokamera. A férfi először maga elé, majd oldalra irányítja. A járókelők nem tudják, hogy ebben a pillanatban a fülhallgatóban a következő utasításokat hallja: „Autó, távolság - 5 méter. Férfi, távolság - 3 méter."
Egy másik személy jön az MFC-hez.„Helló” – mondja mosolyogva az operátor, és ez a szó megjelenik a látogató felé néző képernyőn. A férfi visszamosolyog, és elkezdi begépelni a problémát a billentyűzeten, amit a kezelő kiolvas a számítógép monitorán. A hallássérültek és a külvilág közötti közvetítő egy kis eszköz, amely a beszédet szöveggé alakítja.
Mindkét készüléket a cég fejleszti és gyártjaSensor-Tech. Igazgatója, Denis Kuleshov még az intézetben kezdett együttműködni fogyatékkal élők szervezeteivel: segített a kutatások lebonyolításában. Denis fokozatosan ráébredt, hogy ebben az irányban szeretne dolgozni, és a fogyatékkal élők számára szeretne fejlődni. Ezért, amikor 2014-ben felajánlották neki, hogy csatlakozzon az új So-Unification alapítvány tudományos kutatásaihoz, azonnal beleegyezett.
Megalakult a Siketek-Vakok Támogató Alapítványa „Szo-Egység”.2014 áprilisában. Foglalkozik a siketvakok szocializációjával: regionális támogató központokat nyit, foglalkoztatási, szabadidős és kreatív önmegvalósítási lehetőséget teremt; jogi, pszichológiai és célzott segítséget nyújt.
Az alap különféle projekteket halmozott fel, többek közöttifjúsági és tudományos, a siketvakság kérdéseivel kapcsolatos, amelyben Denis részt vett. „Valamikor úgy döntöttek, hogy sokkal hatékonyabb és helyesebb lenne ezt egy külön laboratóriumban fejleszteni, amely speciálisan foglalkozik ezekkel a kérdésekkel” – emlékszik vissza Kuleshov.
A háztartási gépek árnyalatai
2017-ben megjelent a Sensor-Tech laboratórium,amelyet a So-Unification Foundation alapított. Azonnal megkezdődött a hallássérültek és vakok számára készült kütyük létrehozása. Erre a Neuronet útiterv keretében a Tudományos és Technológiai Kezdeményezés támogatását különítették el.
A támogatás elnyerésének feltétele a projekt társfinanszírozása volt: 70%-ot az NTI különített el, a fennmaradó összeget a fejlesztőknek kellett megtalálniuk. A hiányzó 30%-ot a So-Unification Foundation biztosította.
A laboratórium munkáját a nulláról kellett felépíteni:kialakított egy tervezőirodát és egy kísérleti üzemet, ahol az eszközök prototípusait szerelték össze. Az első probléma, amellyel a fejlesztők szembesülnek, a tapasztalatok hiánya a háztartási készülékek létrehozásában. Korábbi műszerezési tapasztalataik elsősorban a védelmi iparhoz kapcsolódtak.
Kiderült, hogy a vakok számára készült készülék első prototípusa aztúl nehézkes és kényelmetlen a használata. A felhasználók visszajelzéseit követően a fejlesztők komolyan átalakították. Szükséges volt, hogy a készülék megszakítás nélkül működjön, kényelmes és érthető legyen.
Most a laboratórium kifejlesztett egy készüléket vakok és gyengénlátók számára - "Robin" és egy készüléket a hallássérültek számára - "Charlie".
„A fogyatékkal élőknek szánt eszközök piaca nem túl nagy,minden termelés kis léptékű és drága ”- mondja Denis. Ez az oka az eszközök meglehetősen magas árának: a "Robin" ára 150 ezer rubel, a "Charlie" - 195 ezer rubel. Ezért a gyártók tárgyalásokat folytatnak a kormánnyal, hogy találmányaikat vegyék fel a műszaki rehabilitációs eszközök listájára – ebben az esetben a kormány kompenzálja a beszerzési költségeket.
Mondd el, mit látsz
Külsőleg "Robin" egy hordozható fényképezőgépre hasonlít.A szenzorok átvizsgálják a tárgyakat, a mesterséges intelligencia pedig meghatározza, hogy mi van a felhasználó előtt – autó, asztal, számítógép, másik személy. A készülék memóriájában több mint 50 objektum található. Ha feltöltesz oda fényképeket, felismeri az illetőt, és kimondja a nevét. A "Robin" sötétben való használatához egy zseblámpát építettek bele. Ebben az esetben a modul nem csak elnevezi az objektumot, hanem megbecsüli a távolságot is.
A "Robin" első kiadása sikertelen volt.Ahhoz, hogy a készülék érzékelni tudjon egy tárgyat, meg kellett irányítani a készüléket, meg kellett nyomni a gombot és várni legalább 2 másodpercet. De kiderült, hogy ez kényelmetlen volt a felhasználók számára: a gomb megnyomása után azonnal elkezdték egyik oldalról a másikra vezetni a készüléket. Emiatt a "Robin" által hangoztatott információ irrelevánsnak bizonyult: olyan tárgyakat írt le, amelyeket felismert, mielőtt elmozdították volna.
„Tudtuk, hogyan és hol kell segíteni a készüléketközvetlen, és az embereknek nem volt ilyen tapasztalatuk. Emiatt úgy tűnt, hogy az eszköz nem működik jól ”- magyarázza Alexander. Ezután a fejlesztők úgy döntöttek, hogy megváltoztatják a munka elvét. A készülék visszacsatolási ideje egy másodpercre csökkent, míg a "Robin" csak a gomb megnyomására működött. Ez a lehetőség világosabbnak és egyszerűbbnek bizonyult a felhasználók számára.
„Nincsenek közvetlen versenytársak, vagyis azonos funkciójú készülékek a piacon. De vannak analógok, például az OrCam ”- mondja Alexander.
OrCam MyEye és OrCam MyReader- hordozható mesterséges látóeszközök,amelyeket az azonos nevű izraeli cég gyárt. Ezek egy kis vezeték nélküli kamera, amely a szemüveg halántékához rögzíthető. Az első készülék nyomtatott és digitális szövegeket, termék vonalkódokat olvas be, arcokat ismer fel és kimondja a kapott információkat. A második csak szövegek olvasására szolgál. A modulok 17 nyelvet támogatnak, és nem igényelnek internetkapcsolatot.
A hang szöveggé változik
A "Charlie" azoknak szól, akiknek problémái vannakmeghallgatás. Kifejlesztésében olyan emberek vettek részt, akik tapasztalattal rendelkeznek a hallássérültek oktatásában. Ezért a fejlesztők tisztában voltak a kommunikáció során felmerülő nehézségekkel és mindkét fél kéréseivel.
A készülék 2 m távolságból veszi fel a beszédet ésszövegként jeleníti meg a képernyőn. A kütyüt a siketvakok is használhatják – ehhez Braille-kijelzőt csatlakoztatnak a „Charlie-hoz”. Lehetővé teszi az információk ujjaival történő olvasását és válasz bevitelét.
A Braille-írást 1824-ben fejlesztették ki.Konvex pontokból és közöttük lévő üregekből álló rendszer. Minden karakter egy 3x2-es rács segítségével van kódolva. Az egyes cellákon belüli pontok kombinációja egy betűnek vagy írásjelnek felel meg. Ha a szöveg megváltoztatja az írást, például latinról cirillre, ezt egy speciális szimbólum is jelzi.
A fejlesztők azt mondják, hogy a "Charlie" analógjai tovább működneka piac szintén nem. Számos beszédet szöveggé fordító program elsősorban ember-számítógép interakcióra készült, nem pedig arra, hogy két ember kommunikáljon egymással.
Az első hangfelismerésre képes gépaz 50-es években jelent meg a Bell Labs falai között. A készülék nullától kilencig számokat határozott meg. Ugyanakkor a gép sokkal jobban megértette a feltalálót: amikor beszélt, a reprodukálási pontosság körülbelül 90%. A készülék csak az esetek 70-80%-ában ismerte fel helyesen mások beszédét.
A 90-es évekig a beszédfelismerés azon alapultsablonok: a hanghullámokat számkészletre fordították, és az eredmény akkor jelenik meg, amikor a beszéd megegyezett a mintával. Ezért a hangjelek helyes értelmezéséhez szükség volt a háttérzaj kiküszöbölésére, a lassú és világos beszédre.
Az első beszédfelismerő, amely nem igényel szünetet a szavak között, a Dragon's NaturallySpeaking volt. 1997-ben jelent meg, és ma is használatban van.
A gépi tanulás és az AI technológiák jelentősentovábbfejlesztette a beszédfelismerő rendszert, és lehetővé tette az algoritmusok adaptálását az egyes személyek egyéni kommunikációs módjához. Az eredmény a hangasszisztensek megjelenése volt: Google Assistant, Siri az Apple-től, Alexa az Amazontól, „Alice” a Yandextől. Ezenkívül vannak speciális alkalmazások, például a ListNote, a SpeechNotes a beszédfelismeréshez, a hang szöveges üzenetté fordításához. Egyes alkalmazások, például a Speechlogger, akár szinkronfordítást is végezhetnek egyik nyelvről a másikra.
"Charlie" segítségével a beszélgetőpartnerek képesek lesznek kommunikálniegymással közvetítő igénybevétele nélkül. Emellett a készülék távoli kommunikációra is használható, például egyetemi előadásokhoz vagy értekezletekhez. Elég, ha a műsorvezető maga mellé teszi a "Charlie"-t, a hallgatóknak pedig - a linken keresztül csatlakozni a programhoz. A dekódolt beszéd valós időben megjelenik egy okostelefon vagy számítógép képernyőjén.
Lásd újra a világot
Ezenkívül a "Sensor-Tech" részt vesz a látás helyreállítására szolgáló neurotechnológiák használatával kapcsolatos tudományos kutatásokban.
Az egész 2016-ban egy nemzetközi versenyen kezdődöttkonferenciákon az USA-ban. Ott a So-Unification Foundation képviselői találkoztak egy bionikus látással foglalkozó amerikai céggel. Megállapodtak abban, hogy Oroszországban kísérletet hajtanak végre bionikus chipek vak emberekbe történő beültetésére.
„Lehet, hogy az eszköz nem mindenkinél alkalmazhatóa vakok körében ez egy meglehetősen szűk betegségcsoport, főként a retinitis pigmentosa. Különlegessége, hogy vele csak egy sejtréteg pusztul el, ami a fényt elektromos jellé alakítja. A többi sejt életben marad ”- magyarázza Denis.
Retinitis pigmentosa- vele járó örökletes betegségX kromoszóma. Ezzel a patológiával fokozatosan elpusztulnak azok a retinasejtek, amelyek képeket gyűjtenek és a látóideg mentén továbbítják az agyba. A betegség az oldal- és éjszakai látás elvesztésével kezdődik, és végül teljes vaksághoz vezet. Nincsenek hatékony megelőző intézkedések a retinitis pigmentosa ellen, és nincsenek kezelési módszerek sem. A mikrochipek beültetése még fejlesztés alatt áll, és az orvosok szerint a génterápia és az őssejtkezelés is áttörést jelenthet.
Ennek eredményeként az Egyesülés és a Művészeti, Tudományos és Sport alapok adatbázisaiban talált két megfelelő diagnózisú embertnem volt kísérő patológia. 2017-ben Grigory Uljanovban és Antonina Zakharchenkoban telepítették az implantátumokat. A művelethez szükséges pénzeszközöket az Alisher Usmanov Alapítvány biztosította.
Alisher Usmanov Alapítvány "Művészet, Tudomány és Sport"2006-ban alakult. Oktatási és tudományos projekteket finanszíroz (együttműködik az MGIMO-val, MISiS-szel), támogat múzeumokat és színházakat (Szovremennik, Tretyakov Galéria, Igor Moiseev együttese és mások). Az alapítvány emellett az egészséges életmódot népszerűsíti és versenyeket is szervez, többek között fogyatékkal élőknek.
A műtét során a páciens retináját helyezik elimplantátum elektródákkal. Speciális, beépített kamerával ellátott szemüvegekhez kapcsolódik. A kamerából származó információ egy mikroszámítógépbe kerül, amely feldolgozza a képet, és jeleket küld az implantátumnak. Az elektromos impulzusok a látóideg mentén az agyba jutnak, ahol kép keletkezik.
Az implantátum 60 elektródával rendelkezik, amivel összehasonlítható60 pixeles kép – az implantátum által stimulált pontok számának megfelelően. Segítségével csak elég nagy tárgyakról kaphat képet - ablakokat, ajtókat, asztalokat, autókat. Kisebb tárgyak eshetnek ki az elektródák által alkotott "mátrixból", vagy az adatok nem elegendőek azonosításukhoz.
Mivel a beteg nem rendelkezik a felelős sejtekkelszínvisszaadás, a kép fekete-fehér. De a teljes vaksághoz képest az egészséges ember szempontjából még ilyen korlátozott látás is jelentősen kiterjeszti a betegek képességeit. Ismeretlen körülmények között is tudnak tájékozódni a térben külső segítség és kiegészítő eszközök nélkül, és egészen önállóvá válnak.
A Sensor-Tech remélte, hogy a művelet lehetővé tesziregisztrálja az implantátumokat Oroszországban, és tegye elérhetővé azokat a csúcstechnológiás orvosi ellátás keretében. De felmerült egy probléma: az Egészségügyi Minisztérium úgy ítélte meg, hogy két műtét nem elegendő ahhoz, hogy következtetést vonjanak le az implantátumok biztonságosságáról. Az amerikaiak viszont megtagadták a további kísérleteket, mivel nem volt garancia arra, hogy ezt a módszert végül jóváhagyják.
„A szemimplantátumok tekintetében a történetnek vége.De ez még jó is, mert van egy folytatása kérgi implantátumok formájában, amelyeket az agyba helyeznek. Ott történik az információ vizuális feldolgozása. A chipek bármilyen vakság esetén használhatók, ellentétben a szemekkel. Ez egy high-tech megoldás ”- mondja Denis.
A cég már 2021-ben bemutatta az elsőtúj irányba fejlődni. Ez az első ELVIS neuroimplantátum az agy számára Oroszországban; segít helyreállítani a vakok és siketvakok látását. A készülékben van egy agyba épített implantátum, a fejen hordható karika két kamerával - ezek veszik át a szem funkcióját, valamint egy mikroszámítógép, amely elemzi a képet és továbbítja az agyba. A technológia lehetővé teszi a tárgyak, emberek sziluettjének megkülönböztetését és a tárgyak elhelyezkedésének megértését.
Amíg a rendszert rágcsálókon tesztelik, a majmokon végzett tesztek következnek. 2024-ben 10 vak önkéntes kortikális implantátum behelyezését tervezi.
Kortikális vizuális implantátumokaz agykéregbe telepítve.Stimulálják a vizuális területeket, ami vizuális érzeteket eredményez. A szakértők szerint ez lehetővé teszi a képek fényerejének megváltoztatását és a színvisszaadást, ami bionikus implantátumok használata esetén lehetetlen. Az első kortikális implantátum beültetési műveleteket a múlt század 70-es éveiben hajtották végre. 2018-ban pedig az amerikai Second Sight cég nyilvánosan modern neuroimplantátumokat telepített az első vak önkéntesekre. A technológia klinikai kísérletek alatt áll.
Tudományos kutatás és tengerentúli piacok
A laboratóriumi esetek között vannak mások isfejlődés. Például egy mobilszolgáltatóval közösen kifejlesztettek egy ingyenes alkalmazást mobiltelefonokhoz, hogy segítsenek a vakoknak meghatározni a bankjegyek címletét. Elérhető iOS és Android rendszeren.
Ha meg szeretné tudni a bankjegy címletét, csak irányítsa rá az okostelefon kameráját. Az AI azonosítja a bankjegyet és elnevezi. Ha pedig egyszerre több számlára irányítja a kamerát, a készülék azonnal kiszámolja azok összegét.
Ha az alkalmazást olyan személy használjalátás- és hallássérültek, akik nem hallják a beszédet, a bankjegy címletét vibráció segítségével lehet felismerni - a különböző címletekhez saját mód biztosított.
Ha a telefon nem ismeri fel a számlát, megtehetikészítsen egy képet és adja hozzá az adatbázishoz a "Súgó fejlesztőknek" funkción keresztül. Erre általában új vagy ritka emlékjegyek kiadásakor van szükség.
Az eszközök gyártása mellett a Sensor-Techtudományos kutatásokkal foglalkoznak a siketvakság területén. „Azt szeretnénk elérni, hogy az egészséges emberek megértsék, hogyan látják vagy hallják a világot általában” – mondja Andrey.
Tekintse meg ezt a bejegyzést az Instagramon
Tehát a laboratóriumban létrehozták a jogsértések szimulátoraitnézet: VR szimulátor See My World és mobil verziója SMW Pro. Az "interferencia" rákerül az élő képre vagy egy statikus képre. Ennek eredményeként a kép torzul az adott vizuális hibának megfelelően. Például elmosódottá válik, vagy fekete folt jelenik meg a kép közepén.
„Szimuláljuk a tüneteket, hogy egy személy hogyankülönféle látássérültek. Szó szerint: hogyan kell átnézni egy szürkehályogban, rövidlátásban, asztigmatizmusban, zöldhályogban szenvedő ember szemével ”- mondja Andrey. Ezenkívül a szimulátor segítségével nyomon követheti a betegség dinamikáját az idő múlásával. Ez segít az orvosoknak és a hallgatóknak jobban tanulmányozni a klinikai képet, és a beteg közeli hozzátartozóit – szó szerint az ő szemén keresztül nézni a világot.
„Hogy a kép a lehető legpontosabb legyen,létrehozásához a betegség klinikai képét használják fel. Ezenkívül tisztázzuk az eredményt a pácienssel, hogy megbizonyosodjon arról, hogy látja-e, ha a látása még nem romlott súlyosan” – magyarázza Andrey.
Most a fejlesztők szeretnék népszerűsíteni a sajátjukateszközöket az európai és az amerikai piacokon. A tervek szerint a kütyüket felteszik az Amazonra, emellett pedig a fogyatékkal élők problémáival foglalkozó kormányzati szerveket és állami szervezeteket is elérik. Denis bízik abban, hogy az alkalmazott fejlesztések piaca csak növekedni fog. A Sensor-Tech laboratórium igazgatója pedig abban látja küldetését, hogy a technológiának köszönhetően megkönnyítse a fogyatékkal élők életét.
Olvass tovább:
Az AI megoldott egy biológiai problémát, amellyel a tudósok 50 éve küzdenek
30 billió év helyett ezredmásodperc egy feladatra: Kína új kvantumszámítógépet mutatott be
A tudósok olyan embereket keresnek, akik nem fertőződhetnek meg COVID-19-cel. Adataik alapján gyógyszert készítenek