Denis Kuleszow- Dyrektor laboratorium Sensor-Tech.
Aleksander Popow- szef projektant
Andriej Demczyński- Kierownik projektów medycznych w Sensor-Tech.
Neurotechnologie, które usuwają ograniczenia
Ulicą idzie mężczyzna.W jednej ręce ma białą laskę, którą wyczuwa drogę. W drugim znajduje się mały czarny przedmiot, który wygląda jak kamera wideo. Osoba kieruje go przed siebie, a następnie na boki. Przechodnie nie wiedzą, że w tym momencie słyszy w słuchawce wskazówki: „Samochód, odległość 5 metrów. Człowiek, dystans - 3 metry.
Do MFC przychodzi kolejna osoba.„Cześć”, mówi operator z uśmiechem, a to słowo pojawia się na ekranie przed gościem. Osoba ta odwzajemnia uśmiech i zaczyna pisać problem na klawiaturze, którą operator odczyta na monitorze komputera. Pośrednik między osobami niedosłyszącymi a światem zewnętrznym to małe urządzenie, które zamienia mowę na tekst.
Oba instrumenty są projektowane i produkowane przez firmę„Sensor-Tech”. Jego dyrektor Denis Kuleshov zaczął współpracować z organizacjami na rzecz osób niepełnosprawnych jeszcze podczas studiów w instytucie: pomagał w prowadzeniu badań. Stopniowo Denis zdał sobie sprawę, że chce pracować w tym kierunku i angażować się w rozwój dla osób niepełnosprawnych. Dlatego, gdy w 2014 roku zaproponowano mu udział w badaniach naukowych nowego funduszu „Połączenie”, od razu się zgodził.
Powstała Fundacja Wspomagania Głuchoniewidomych „Połączenie”w kwietniu 2014 r. Zaangażowany w socjalizację głuchoniewidomych: otwiera regionalne ośrodki wsparcia, stwarza możliwości zatrudnienia, wypoczynku i twórczej samorealizacji; udziela pomocy prawnej, psychologicznej i celowej.
Fundacja zgromadziła różne projekty, m.inmłodzieżowej i naukowej, związanej z problematyką głuchoślepoty, w której Denis brał udział. „W pewnym momencie zdecydowaliśmy, że o wiele bardziej efektywne i poprawne byłoby rozwinięcie tego w formie oddzielnego laboratorium, które zajmuje się tymi zagadnieniami w sposób specjalistyczny” – wspomina Kuleszow.
Niuanse sprzętu AGD
W 2017 roku pojawiło się laboratorium Sensor-Tech,założycielem której była fundacja „So-edinenie”. Natychmiast rozpoczęto prace nad stworzeniem gadżetów dla osób niedosłyszących i niewidomych. Na ten cel przyznano grant z Inicjatywy Naukowo-Technologicznej w ramach mapy drogowej Neuronet.
Warunkiem otrzymania dotacji było dofinansowanie projektu: 70% przeznaczyła NTI, resztę pieniędzy deweloperzy musieli znaleźć sami. Brakujące 30% zapewnił fundusz związkowy.
Praca laboratorium musiała zostać zbudowana od podstaw:utworzyło biuro projektowe i produkcję pilotażową, gdzie montowano prototypy urządzeń. Pierwszym problemem, z jakim zmierzyli się twórcy, był brak doświadczenia w tworzeniu sprzętu AGD. Ich wcześniejsze doświadczenia w inżynierii przyrządów związane były głównie z przemysłem obronnym.
Pierwszym prototypem urządzenia dla niewidomych okazał się byćzbyt nieporęczne i niewygodne w użyciu. Po otrzymaniu opinii od użytkowników programiści poważnie go przekształcili. Konieczne było, aby urządzenie działało bez zakłóceń, było wygodne i zrozumiałe w użytkowaniu.
Obecnie laboratorium opracowało urządzenie dla osób niewidomych i niedowidzących – „Robin” oraz urządzenie dla osób z wadami słuchu – „Charlie”.
„Rynek urządzeń dla osób niepełnosprawnych nie jest bardzo duży,cała produkcja odbywa się na małą skalę i jest kosztowna”, mówi Denis. To jest powód dość wysokiej ceny urządzeń: "Robin" kosztuje 150 tysięcy rubli, "Charlie" - 195 tysięcy rubli. Dlatego producenci negocjują z rządem, aby ich wynalazki znalazły się na liście środków rehabilitacji technicznej – w tym przypadku państwo rekompensuje koszty zakupu.
Powiedz, co widzisz
Zewnętrznie „Robin” przypomina przenośny aparat.Czujniki skanują obiekty, a sztuczna inteligencja określa, czy użytkownik znajduje się przed samochodem, stołem, komputerem lub inną osobą. Łącznie w pamięci urządzenia znajduje się ponad 50 obiektów. Jeśli prześlesz tam zdjęcia, rozpozna osobę i wezwie jej imię. Aby używać „Robina” w ciemności, wbudowano w niego latarkę. Jednocześnie gadżet nie tylko nazywa obiekt, ale także szacuje odległość do niego.
Pierwsze wydanie „Robina” zakończyło się niepowodzeniem.Aby urządzenie rozpoznało obiekt, konieczne było skierowanie urządzenia, naciśnięcie przycisku i odczekanie co najmniej 2 sekund. Okazało się jednak, że było to niewygodne dla użytkowników: natychmiast po naciśnięciu przycisku zaczęli jeździć urządzeniem z boku na bok. Z tego powodu informacje wypowiedziane przez „Robina” okazały się nieistotne: opisał przedmioty, które rozpoznał, zanim został przeniesiony.
„Wiedzieliśmy, jak pomóc urządzeniu i gdziebezpośrednie, a ludzie nie mieli takiego doświadczenia. Z tego powodu wydawało im się, że urządzenie nie działa dobrze ”- wyjaśnia Alexander. Następnie twórcy postanowili zmienić zasadę działania. Czas sprzężenia zwrotnego z urządzenia został skrócony do sekundy, natomiast „Robin” działał tylko po naciśnięciu przycisku. Ta opcja okazała się bardziej przejrzysta i łatwiejsza dla użytkowników.
„Na rynku nie ma bezpośrednich konkurentów, czyli urządzeń o takich samych funkcjach. Ale są odpowiedniki, na przykład OrCam”, mówi Alexander.
OrCam MyEye i OrCam MyReader- przenośne sztuczne urządzenia wizyjne,produkowane przez izraelską firmę o tej samej nazwie. Są to małe bezprzewodowe kamery, które można przymocować do zauszników okularów. Pierwsze urządzenie odczytuje tekst drukowany i cyfrowy, kody kreskowe produktów, rozpoznaje twarze i wypowiada otrzymane informacje. Drugi służy tylko do czytania tekstów. Gadżety obsługują 17 języków i nie wymagają połączenia z Internetem.
Głos zamienia się w tekst
„Charlie” jest dla osób z problemami zdrowia psychicznego.przesłuchanie. Została opracowana przez osoby mające doświadczenie w nauczaniu osób z wadami słuchu. Dlatego twórcy byli świadomi trudności, jakie pojawiają się w procesie komunikacji i próśb ze strony obu stron.
Urządzenie odbiera mowę z odległości 2 m iwyświetla go na ekranie jako tekst. Głuchoniewidomi również mogą korzystać z gadżetu - w tym celu do Charliego podłączony jest monitor brajlowski. Pozwala na odczytanie informacji palcami i wpisanie odpowiedzi.
Braille został opracowany w 1824 roku.Jest to system wypukłych punktów i pustek między nimi. Każdy symbol jest zakodowany przy użyciu siatki 3x2. Kombinacja kropek w każdej komórce odpowiada literze lub znakowi interpunkcyjnemu. Jeśli w tekście nastąpiła zmiana pisma, na przykład z łaciny na cyrylicę, również wskazuje na to znak specjalny.
Twórcy twierdzą, że analogi „Charlie” narównież brak rynku. Liczne programy tłumaczące mowę na tekst są przeznaczone przede wszystkim do interakcji człowiek-komputer, a nie do komunikowania się ze sobą dwóch osób.
Pierwsza maszyna z funkcją rozpoznawania głosupojawił się w latach 50. w murach Bell Labs. Urządzenie określiło liczby od zera do dziewięciu. Jednocześnie maszyna znacznie lepiej rozumiała wynalazcę: kiedy mówił, dokładność reprodukcji wynosiła około 90%. Mowa innych osób została poprawnie rozpoznana przez urządzenie tylko w 70–80% przypadków.
Do lat 90. rozpoznawanie mowy opierało się na:wzory: fale dźwiękowe zostały przetłumaczone na zestaw liczb, a wynik był wyświetlany, gdy mowa pasowała do próbki. Dlatego dla prawidłowej interpretacji sygnałów głosowych konieczne było wyeliminowanie szumów tła, mówienie wolno i wyraźnie.
Pierwszym modułem rozpoznawania mowy, który nie wymagał przerw między słowami, był NaturallySpeaking firmy Dragon. Pojawił się w 1997 roku i jest nadal w użyciu.
Uczenie maszynowe i technologie AI są znaczącoulepszył system rozpoznawania mowy i umożliwił dostosowanie algorytmów do indywidualnego sposobu porozumiewania się każdej osoby. Efektem było pojawienie się asystentów głosowych: Asystenta Google, Siri od Apple, Alexa od Amazon, Alice od Yandex. Ponadto istnieją specjalne aplikacje, takie jak ListNote, SpeechNotes, do rozpoznawania mowy, tłumaczenia głosu na wiadomość tekstową. Niektóre aplikacje, takie jak Speechlogger, mogą nawet wykonywać symultaniczne tłumaczenie z jednego języka na inny.
Z pomocą „Charliego” rozmówcy będą mogli się porozumiećze sobą bez pośrednictwa. Dodatkowo urządzenie może służyć do zdalnej komunikacji np. podczas wykładów na uczelniach czy spotkań. Wystarczy, że mówca umieści obok siebie „Charlie”, a słuchacze połączą się z programem przez link. Transkrybowana mowa będzie wyświetlana na ekranie smartfona lub komputera w czasie rzeczywistym.
Zobacz świat ponownie
Sensor-Tech uczestniczy również w badaniach naukowych nad wykorzystaniem neurotechnologii do przywracania wzroku.
Wszystko zaczęło się w 2016 roku na targach międzynarodowychkonferencje w USA. Na nim przedstawiciele Fundacji „Unia” zapoznali się z amerykańską firmą zajmującą się wizją bioniczną. Zgodzili się przeprowadzić eksperyment w Rosji, aby wszczepić bioniczne chipy osobom niewidomym.
Urządzenie może nie być odpowiednie dla wszystkichślepa, jest to raczej wąska pula chorób, głównie barwnikowego zwyrodnienia siatkówki. Osobliwością jest to, że wraz z nią umiera tylko jedna warstwa komórek, która przekształca światło w sygnał elektryczny. Reszta komórek pozostaje żywa” – wyjaśnia Denis.
barwnikowe zwyrodnienie siatkówki- choroba dziedziczna związana zChromosom X. W przypadku tej patologii komórki siatkówki, które zbierają obrazy i przekazują je wzdłuż nerwu wzrokowego do mózgu, ulegają stopniowemu zniszczeniu. Choroba zaczyna się od utraty widzenia bocznego i nocnego, a ostatecznie prowadzi do całkowitej ślepoty. Nie ma skutecznej profilaktyki barwnikowego zwyrodnienia siatkówki, ani metod leczenia. Wszczepianie mikrochipów jest wciąż w fazie rozwoju, a lekarze sugerują także, że przełomem może okazać się terapia genowa i leczenie komórkami macierzystymi.
W efekcie w bazach funduszy „Połączenie” i „Sztuka, Nauka i Sport” znaleziono dwie osoby z pożądaną diagnozą, które mająnie było chorób współistniejących. W 2017 roku zainstalowano implanty dla Grigorija Uljanowa i Antoniny Zacharczenko. Fundusze na operację przeznaczyła Fundacja Aliszera Usmanowa.
Fundacja Aliszera Usmanowa „Sztuka, nauka i sport”założona w 2006 roku. Finansuje projekty edukacyjne i naukowe (współpracuje z MGIMO, MISiS), wspiera muzea i teatry (Sovremennik, Galeria Tretiakowska, Igor Moiseev Ensemble i inne). Fundacja promuje również zdrowy tryb życia oraz organizuje konkursy, w tym dla osób niepełnosprawnych.
Podczas operacji siatkówka pacjenta jestimplant z elektrodami. Kojarzy się ze specjalnymi okularami z wbudowaną kamerą. Informacje z kamery przekazywane są do mikrokomputera, który przetwarza obraz i wysyła sygnały do implantu. Impulsy elektryczne są przekazywane wzdłuż nerwu wzrokowego do mózgu, gdzie powstaje obraz.
Implant zawiera 60 elektrod, które można porównać zobraz 60 pikseli - zgodnie z liczbą punktów stymulowanych przez implant. Dzięki niemu możesz uzyskać obraz tylko dość dużych obiektów - okien, drzwi, stołów, samochodów. Mniejsze przedmioty mogą wypaść z „matrycy”, którą tworzą elektrody lub nie ma wystarczających danych do ich identyfikacji.
Ponieważ pacjent nie ma komórek odpowiedzialnych zaoddawanie barw, obraz jest czarno-biały. Ale w porównaniu z całkowitą ślepotą, nawet tak ograniczone widzenie z punktu widzenia zdrowego człowieka znacznie rozszerza możliwości pacjentów. Mogą poruszać się w kosmosie nawet w nieznanych warunkach bez pomocy z zewnątrz lub dodatkowych urządzeń i stać się całkiem niezależnymi.
Sensor-Tech miał nadzieję, że operacja pozwolizarejestrować implanty w Rosji i udostępnić je w ramach nowoczesnej opieki medycznej. Pojawił się jednak problem: Ministerstwo Zdrowia uznało, że dwie operacje nie wystarczą, aby stwierdzić, że implanty są bezpieczne. Amerykanie z kolei odmówili prowadzenia dalszych eksperymentów, ponieważ nie było gwarancji, że ta metoda zostanie ostatecznie zatwierdzona.
„Jeśli chodzi o implanty oka, historia się skończyła.Ale jest to nawet dobre, ponieważ ma kontynuację w postaci implantów korowych umieszczanych w mózgu. To tutaj odbywa się przetwarzanie wizualne. Chipy mogą być używane do każdego rodzaju ślepoty, w przeciwieństwie do oka. To bardziej zaawansowane technologicznie rozwiązanie” — mówi Denis.
Już w 2021 roku firma wprowadziła na rynek pierwszyrozwój w nowym kierunku. To pierwszy neuroimplant mózgu ELVIS w Rosji, pomaga przywrócić wzrok osobom niewidomym i głuchoniewidomym. Urządzenie posiada implant montowany w mózgu, opaskę z dwoma kamerami, które należy nosić na głowie – przejmują one funkcję oczu oraz mikrokomputer, który analizuje obraz i przekazuje go do mózgu. Technologia pozwala rozróżniać sylwetki obiektów, ludzi oraz zrozumieć położenie obiektów.
Podczas gdy system będzie testowany na gryzoniach, nastąpią testy na małpach. W 2024 r. planowane jest zainstalowanie implantu korowego dziesięciu niewidomym ochotnikom.
Implanty korowo-wizualnezainstalowany w korze mózgowej.Pobudzają obszary wzrokowe, wywołując doznania wzrokowe. Zdaniem ekspertów umożliwi to zmianę jasności obrazów i zapewni odwzorowanie kolorów, co nie jest możliwe w przypadku stosowania implantów bionicznych. Pierwsze operacje wszczepiania implantów korowych przeprowadzono już w latach 70-tych ubiegłego wieku. Z kolei w 2018 roku amerykańska firma Second Sight publicznie zainstalowała nowoczesne neuroimplanty pierwszym niewidomym ochotnikom. Technologia przechodzi badania kliniczne.
Badania naukowe i rynki zagraniczne
Wśród przypadków laboratoryjnych są innerozwój. Na przykład wspólnie z operatorem komórkowym powstała bezpłatna aplikacja na telefony komórkowe, która ma pomóc osobom niewidomym określić nominał banknotów. Jest dostępny na iOS i Androida.
Aby poznać nominał banknotu, skieruj na niego aparat swojego smartfona. AI zidentyfikuje banknot i nada mu nazwę. A jeśli skierujesz aparat na kilka rachunków jednocześnie, urządzenie natychmiast obliczy ich kwotę.
Jeśli z aplikacji korzysta osoba zosoby niedowidzące i niedosłyszące, które nie słyszą działania głosu, nominały banknotu można rozpoznać za pomocą wibracji – różne nominały mają swoje tryby.
Jeśli telefon nie rozpoznaje rachunku, może to byćzrób zdjęcie i dodaj do bazy danych poprzez funkcję „Pomoc dla programistów”. Zwykle taka potrzeba pojawia się przy wydawaniu nowych lub rzadkich pamiątkowych notatek.
Oprócz produkcji urządzeń Sensor-Techzajmuje się badaniami naukowymi w zakresie głuchoniewidomych. „Chcemy wyjaśnić zdrowym ludziom, jak ogólnie postrzegają świat osoby z upośledzeniem wzroku lub słuchu” – mówi Andrey.
Zobacz ten post na Instagramie
Tak więc w laboratorium powstały symulatory naruszeńwizja: symulator VR Zobacz My World i jego mobilną wersję SMW Pro. „Szum” nakłada się na obraz w czasie rzeczywistym lub obraz statyczny. W efekcie obraz jest zniekształcony zgodnie z określoną wadą wzroku. Na przykład staje się rozmazany lub na środku obrazu pojawia się czarna plama.
„Symulujemy objawy tego, jak osoba zróżne wady wzroku. Dosłownie: jak patrzeć oczami osoby, która ma zaćmę, krótkowzroczność, astygmatyzm, jaskrę ”- mówi Andrey. Ponadto za pomocą symulatora można śledzić dynamikę choroby w czasie. Pomaga to lekarzom i studentom lepiej zrozumieć obraz kliniczny, a bliskim krewnym pacjenta – dosłownie spojrzeć na świat jego oczami.
„Aby obraz był jak najbardziej wiarygodny,do jej stworzenia wykorzystuje się obraz kliniczny choroby. Ponadto wyjaśniamy wynik pacjenta, aby potwierdził, czy widzi w ten sposób, jeśli jego wizja nie jest jeszcze poważnie uszkodzona ”- wyjaśnia Andrey.
Teraz programiści chcą promować swojeurządzeń na rynkach Europy i USA. Planowane jest umieszczenie gadżetów na Amazonie, a dodatkowo trafienie do agencji rządowych i organizacji publicznych zajmujących się problemami osób niepełnosprawnych. Denis jest przekonany, że rynek tworzenia aplikacji będzie tylko rósł. A dyrektor laboratorium Sensor-Tech swoją misję widzi w ułatwianiu życia osobom niepełnosprawnym dzięki technologii.
Czytaj więcej:
Sztuczna inteligencja rozwiązała biologiczny problem, z którym naukowcy zmagają się od 50 lat
Milisekunda zamiast 30 bilionów lat na zadanie: Chiny wprowadziły nowy komputer kwantowy
Naukowcy poszukują osób, które nie mogą zostać zarażone COVID-19. Na podstawie ich danych zrobią lek