Denis Kuleshov- Diretor do laboratório Sensor-Tech.
Alexander Popov- designer-chefe
Andrey Demchinsky- Chefe de projetos médicos na Sensor-Tech.
Neurotecnologias que removem restrições
Um homem está andando na rua.Em uma das mãos ele tem uma bengala branca, com a qual ele apalpa o caminho. Na outra, há um pequeno objeto preto que parece uma câmera de vídeo. O homem o direciona primeiro na frente dele, depois para os lados. Os transeuntes não sabem que neste momento no auscultador ouve avisos: “Carro, distância - 5 metros. Cara, distância - 3 metros. "
Outra pessoa chega ao MFC.“Olá”, diz a operadora com um sorriso, e essa palavra aparece na tela de frente para o visitante. O homem sorri de volta e começa a digitar o problema no teclado, que o operador vai ler no monitor do computador. Um intermediário entre os deficientes auditivos e o mundo exterior é um pequeno dispositivo que converte a fala em texto.
Ambos os dispositivos são desenvolvidos e fabricados na empresa"Sensor-Tech". Seu diretor, Denis Kuleshov, começou a cooperar com organizações de pessoas com deficiência ainda no instituto: ajudou a realizar pesquisas. Aos poucos, Denis percebeu que queria trabalhar nessa direção e se desenvolver para pessoas com deficiência. Portanto, quando em 2014 ele foi convidado a participar da pesquisa científica da nova fundação So-Unificação, ele concordou imediatamente.
A Fundação de Apoio aos Surdos-Cegos "So-Unity" foi estabelecidaem abril de 2014. Trata da socialização de surdos-cegos: abre centros regionais de apoio, cria oportunidades de emprego, lazer e autorrealização criativa; oferece assistência jurídica, psicológica e direcionada.
O fundo acumulou vários projetos, incluindojuvenil e científica, relacionada às questões da surdo-cegueira, da qual Denis participou. “Em algum momento, decidiu-se que seria muito mais eficaz e mais correto desenvolver isso no formato de um laboratório separado que lida com essas questões de maneira especializada”, lembra Kuleshov.
As nuances dos eletrodomésticos
Em 2017, surgiu o laboratório Sensor-Tech,que foi fundada pela Fundação So-Unificação. O trabalho começou imediatamente na criação de gadgets para deficientes auditivos e cegos. Uma bolsa da Iniciativa Científica e Tecnológica foi alocada para isso no âmbito do roteiro Neuronet.
A condição para receber a subvenção era o co-financiamento do projeto: 70% foi alocado pela NTI, o restante do dinheiro teve de ser encontrado pelos próprios desenvolvedores. Os 30% ausentes foram fornecidos pela Fundação So-Unificação.
O trabalho do laboratório teve que ser construído do zero:formou um bureau de design e uma planta piloto, onde protótipos de dispositivos foram montados. O primeiro problema enfrentado pelos desenvolvedores é a falta de experiência na criação de eletrodomésticos. Sua experiência anterior em instrumentação estava relacionada principalmente à indústria de defesa.
O primeiro protótipo de um dispositivo para cegos acabou por sermuito pesado e inconveniente de usar. Tendo recebido feedback dos usuários, os desenvolvedores o transformaram seriamente. Era preciso fazer o aparelho funcionar sem interrupções, ser cômodo e compreensível de usar.
Agora o laboratório desenvolveu um aparelho para cegos e deficientes visuais - "Robin" e um aparelho para deficientes auditivos - "Charlie".
“O mercado de dispositivos para pessoas com deficiência não é muito grande,toda a produção é pequena e cara ”, diz Denis. Esta é a razão para o preço bastante alto dos dispositivos: "Robin" custa 150 mil rublos, "Charlie" - 195 mil rublos. Portanto, os fabricantes estão negociando com o governo para incluir suas invenções na lista de meios de reabilitação técnica - neste caso, o governo vai ressarcir os custos de aquisição.
Diga-me o que você vê
Externamente, "Robin" se assemelha a uma câmera portátil.Os sensores examinam objetos e a inteligência artificial determina o que está na frente do usuário - um carro, uma mesa, um computador ou outra pessoa. No total, são mais de 50 objetos na memória do aparelho. Se você carregar fotos lá, ele reconhece a pessoa e diz seu nome. Para usar "Robin" no escuro, uma lanterna foi embutida nele. Nesse caso, o gadget não apenas nomeia o objeto, mas também estima a distância até ele.
O primeiro lançamento de "Robin" não teve sucesso.Para que o dispositivo detectasse um objeto, era necessário apontar o dispositivo, pressionar o botão e aguardar pelo menos 2 segundos. Mas descobriu-se que isso era inconveniente para os usuários: imediatamente após pressionar o botão, eles começaram a movimentar o dispositivo de um lado para o outro. Por causa disso, a informação dada por "Robin" acabou sendo irrelevante: ele estava descrevendo objetos que reconhecia antes de ser movido.
“Sabíamos como ajudar o dispositivo e ondedireto, e as pessoas não tinham essa experiência. Por isso, parecia que o aparelho não estava funcionando bem ”, explica Alexander. Então, os desenvolvedores decidiram mudar o princípio de trabalho. O tempo de feedback do aparelho foi reduzido para um segundo, enquanto o "Robin" só funcionou quando o botão foi pressionado. Essa opção acabou sendo mais clara e fácil para os usuários.
“Não há concorrentes diretos, ou seja, aparelhos com as mesmas funções, no mercado. Mas existem análogos, por exemplo, OrCam ”, diz Alexander.
OrCam MyEye e OrCam MyReader- dispositivos portáteis de visão artificial,que são produzidos pela empresa israelense de mesmo nome. Eles são uma pequena câmera sem fio que pode ser acoplada à haste dos óculos. O primeiro dispositivo lê textos impressos e digitais, códigos de barras de produtos, reconhece rostos e fala as informações recebidas. O segundo é usado apenas para leitura de textos. Os gadgets suportam 17 idiomas e não requerem conexão com a Internet.
A voz se transforma em texto
"Charlie" é destinado a pessoas com problemas comaudição. Participaram de seu desenvolvimento pessoas com experiência no ensino de deficientes auditivos. Portanto, os desenvolvedores estavam cientes das dificuldades que surgem no processo de comunicação e nas solicitações de ambas as partes.
O dispositivo capta a fala a uma distância de 2 m eexibe-o na tela como texto. O gadget também pode ser usado por surdos-cegos - para isso, um display Braille é conectado ao "Charlie". Ele permite que você leia as informações com os dedos e digite uma resposta.
Braille foi desenvolvido em 1824.É um sistema de pontos convexos e vazios entre eles. Cada personagem é codificado usando uma treliça 3x2. A combinação de pontos dentro de cada célula corresponde a uma letra ou sinal de pontuação. Se o texto muda o script, por exemplo, de latim para cirílico, isso também é indicado por um símbolo especial.
Os desenvolvedores dizem que análogos de "Charlie" emo mercado também não. Vários programas que traduzem fala em texto são projetados principalmente para a interação humano-computador, e não para que duas pessoas se comuniquem.
A primeira máquina capaz de reconhecimento de vozapareceu na década de 50 dentro das paredes da Bell Labs. O dispositivo determinou números de zero a nove. Ao mesmo tempo, a máquina entendia muito melhor o inventor: quando ele falava, a precisão de reprodução era de cerca de 90%. O dispositivo reconheceu corretamente a fala de outras pessoas apenas em 70–80% dos casos.
Até a década de 90, o reconhecimento de fala era baseado emmodelos: as ondas sonoras eram traduzidas em um conjunto de números e o resultado era exibido quando a fala correspondia à amostra. Portanto, para a correta interpretação dos sinais de voz, era necessário eliminar ruídos de fundo, falar pausadamente e com clareza.
O primeiro reconhecedor de fala que não exigia pausas entre as palavras foi o NaturallySpeaking do Dragon. Ele apareceu em 1997 e ainda está em uso hoje.
Aprendizado de máquina e tecnologias de IA significativamenteaprimorou o sistema de reconhecimento de voz e tornou possível adaptar os algoritmos ao modo individual de comunicação de cada pessoa. O resultado foi o surgimento de assistentes de voz: Google Assistant, Siri da Apple, Alexa da Amazon, “Alice” da Yandex. Além disso, existem aplicativos especiais, por exemplo, ListNote, SpeechNotes, para reconhecimento de fala, tradução de uma voz em uma mensagem de texto. Alguns aplicativos, como o Speechlogger, podem até fazer a tradução simultânea de um idioma para outro.
Com a ajuda de "Charlie" os interlocutores poderão se comunicaruns com os outros sem recorrer a um intermediário. Além disso, o dispositivo pode ser usado para comunicação remota, por exemplo, para palestras em universidades ou realização de reuniões. Basta o apresentador colocar “Charlie” ao lado dele, e os ouvintes - conectar-se ao programa pelo link. A fala decodificada será exibida na tela de um smartphone ou computador em tempo real.
Ver o mundo novamente
Além disso, a "Sensor-Tech" participa de pesquisas científicas relacionadas ao uso de neurotecnologias para o retorno da visão.
Tudo começou em 2016 de uma forma internacionalconferências nos EUA. Lá, representantes da Fundação So-Unification se reuniram com uma empresa americana que lida com visão biônica. Eles concordaram em conduzir um experimento na Rússia para implantar chips biônicos em pessoas cegas.
“O dispositivo pode não ser aplicável a todosdos cegos, é um reservatório bastante estreito de doenças, principalmente retinite pigmentosa. A peculiaridade é que, com ela, morre apenas uma camada de células, que transforma a luz em um sinal elétrico. O resto das células permanecem vivas ”, explica Denis.
Retinite pigmentosa- uma doença hereditária associada aCromossomo X. Com essa patologia, as células da retina que coletam as imagens e as transmitem ao longo do nervo óptico até o cérebro são gradualmente destruídas. A doença começa com a perda da visão lateral e noturna e eventualmente leva à cegueira completa. Não existem medidas preventivas eficazes contra a retinite pigmentosa, nem métodos de tratamento. A implantação de microchips ainda está em desenvolvimento e os médicos também sugerem que a terapia genética e o tratamento com células estaminais poderão tornar-se um avanço.
Como resultado, nas bases de dados dos fundos So-Unificação e Arte, Ciência e Esporte encontrou duas pessoas com o diagnóstico certo quenão havia patologias concomitantes. Em 2017, os implantes foram instalados em Grigory Ulyanov e Antonina Zakharchenko. Os recursos para a operação foram alocados pela Fundação Alisher Usmanov.
Fundação Alisher Usmanov "Arte, Ciência e Esporte"fundada em 2006. Financia projetos educacionais e científicos (coopera com MGIMO, MISiS), apóia museus e teatros (Sovremennik, Galeria Tretyakov, conjunto de Igor Moiseev e outros). A fundação também promove estilos de vida saudáveis e organiza competições, inclusive para pessoas com deficiência.
Durante a operação, a retina do paciente é colocadaimplante com eletrodos. Está associado a óculos especiais com câmera embutida. As informações da câmera são transmitidas para um microcomputador, que processa a imagem e envia sinais para o implante. Os impulsos elétricos são transmitidos ao longo do nervo óptico para o cérebro, onde uma imagem é formada.
O implante possui 60 eletrodos, que podem ser comparados comuma imagem de 60 pixels - de acordo com o número de pontos estimulados pelo implante. Com sua ajuda, você pode obter uma imagem apenas de objetos grandes o suficiente - janelas, portas, mesas, carros. Objetos menores podem cair da "matriz" formada pelos eletrodos ou os dados são insuficientes para identificá-los.
Uma vez que o paciente não possui as células responsáveis porreprodução de cores, a imagem é em preto e branco. Mas, em comparação com a cegueira completa, mesmo essa visão limitada do ponto de vista de uma pessoa saudável expande significativamente as capacidades dos pacientes. Eles podem navegar no espaço, mesmo em condições desconhecidas, sem ajuda externa ou dispositivos adicionais e tornam-se bastante independentes.
A Sensor-Tech esperava que a operação permitisseregistrar implantes na Rússia e disponibilizá-los no âmbito da assistência médica de alta tecnologia. Mas surgiu um problema: o Ministério da Saúde considerou que duas operações não eram suficientes para tirar uma conclusão sobre a segurança dos implantes. Os americanos, por sua vez, recusaram-se a fazer novos experimentos, pois não havia garantia de que esse método acabaria sendo aprovado.
“Em termos de implantes oculares, a história acabou.Mas isso é até bom, porque tem uma continuação na forma de implantes corticais, que são colocados no cérebro. É lá que ocorre o processamento visual da informação. Os chips podem ser usados para qualquer tipo de cegueira, ao contrário dos olhos. Esta é uma solução mais de alta tecnologia ”, afirma Denis.
Já em 2021, a empresa apresentou o primeirodesenvolvimento em uma nova direção. Este é o primeiro neuroimplante ELVIS para o cérebro na Rússia; ele ajuda a restaurar a visão de pessoas cegas e surdo-cegas. O aparelho conta com um implante que é instalado no cérebro, um bastidor com duas câmeras para ser usado na cabeça - elas assumem a função dos olhos e um microcomputador que analisa a imagem e a transmite ao cérebro. A tecnologia permite distinguir silhuetas de objetos, pessoas e entender a localização de objetos.
Enquanto o sistema está sendo testado em roedores, testes em macacos seguirão. Em 2024, 10 voluntários cegos planejam instalar um implante cortical.
Implantes visuais corticaisinstalado no córtex cerebral.Estimulam as áreas visuais, resultando em sensações visuais. Segundo especialistas, isso permitirá alterar o brilho das imagens e garantir a reprodução de cores, o que é impossível no uso de implantes biônicos. As primeiras operações de implantação de implantes corticais foram realizadas na década de 70 do século passado. E em 2018, a empresa americana Second Sight instalou publicamente neuroimplantes modernos nos primeiros voluntários cegos. A tecnologia está passando por testes clínicos.
Pesquisa científica e mercados internacionais
Entre os casos de laboratório existem outrosdesenvolvimento. Por exemplo, um aplicativo gratuito para telefones celulares foi desenvolvido em conjunto com uma operadora de celular para ajudar os cegos a determinar o valor das notas. Ele está disponível para iOS e Android.
Para saber o valor de uma nota, basta apontar a câmera do smartphone para ela. O AI identificará a nota e a nomeará. E se você apontar a câmera para várias notas ao mesmo tempo, o dispositivo calculará imediatamente o valor delas.
Se o aplicativo for usado por uma pessoa comdeficiências visuais e auditivas, que não podem ouvir a dublagem, o valor de uma conta pode ser reconhecido usando vibração - para diferentes denominações, seus próprios modos são fornecidos.
Se o telefone não reconhecer a conta, você podetire uma foto e adicione-a ao banco de dados através da função "Ajuda para desenvolvedores". Normalmente, a necessidade disso surge na emissão de notas comemorativas novas ou raras.
Além da produção de aparelhos, Sensor-Techestão engajados em pesquisas científicas no campo da surdocegueira. “Queremos que as pessoas saudáveis entendam como as pessoas com deficiência visual ou auditiva percebem o mundo em geral”, diz Andrey.
Veja esta postagem no Instagram
Então, no laboratório eles criaram simuladores de violaçõesvisualizar: simulador de realidade virtual Veja My World e sua versão móvel SMW Pro. "Interferência" é sobreposta na imagem ao vivo ou em uma imagem estática. Como resultado, a imagem é distorcida de acordo com o defeito visual específico. Por exemplo, fica borrado ou um ponto preto aparece no centro da imagem.
“Simulamos os sintomas de como uma pessoa comvárias deficiências visuais. Literalmente: como olhar pelos olhos de quem tem catarata, miopia, astigmatismo, glaucoma ”, diz Andrey. Além disso, usando o simulador, você pode rastrear a dinâmica da doença ao longo do tempo. Isso ajuda médicos e alunos a estudar melhor o quadro clínico e os parentes próximos do paciente - literalmente, a olhar para o mundo através de seus olhos.
“Para tornar a imagem o mais precisa possível,para criá-lo, utiliza-se o quadro clínico da doença. Além disso, esclarecemos o resultado com o paciente, para que ele confirme se enxerga, caso a visão ainda não esteja gravemente prejudicada ”, explica Andrey.
Agora, os desenvolvedores querem promover seusdispositivos nos mercados europeu e americano. Prevê-se colocar os gadgets na Amazon e, além disso, chegar a órgãos governamentais e órgãos públicos que lidam com o problema das pessoas com deficiência. Denis está confiante de que o mercado de desenvolvimentos aplicados só crescerá. E o diretor do laboratório Sensor-Tech vê sua missão em tornar a vida mais fácil para pessoas com deficiência graças à tecnologia.
Consulte Mais informação:
A IA resolveu um problema biológico contra o qual os cientistas vêm lutando há 50 anos
Um milissegundo em vez de 30 trilhões de anos para uma tarefa: a China introduziu um novo computador quântico
Os cientistas procuram pessoas que não podem ser infectadas com COVID-19. Com base em seus dados, eles farão um medicamento