데니스 쿨레쇼프- Sensor-Tech 연구소 소장.
알렉산더 포포프- 수석 디자이너
안드레이 뎀친스키- Sensor-Tech의 의료 프로젝트 책임자.
제한을 제거하는 신경 기술
한 남자가 거리를 걷고 있습니다.한 손에는 흰 지팡이가 있는데, 그 지팡이로 길을 느낍니다. 다른 한쪽에는 비디오 카메라처럼 보이는 작은 검은색 물체가 있습니다. 남자는 먼저 자신의 앞에서 지시한 다음 측면으로 지시합니다. 행인들은 이 순간 이어폰에서 “자동차, 거리 - 5미터. 남자, 거리 - 3 미터. "
다른 사람이 MFC에 옵니다.교환원은 미소를 지으며 "안녕하세요."라고 말하고 방문자를 바라보는 화면에 이 단어가 나타납니다. 남자는 미소를 지으며 키보드에 문제를 입력하기 시작합니다. 그러면 운영자가 컴퓨터 모니터에서 읽을 것입니다. 청각 장애인과 외부 세계 사이의 중개자는 말을 텍스트로 변환하는 작은 장치입니다.
두 장치 모두 회사에서 개발 및 제조됩니다.센서테크. 그 책임자인 Denis Kuleshov는 아직 연구소에 있는 동안 장애인을 위한 조직과 협력하기 시작했습니다. 그는 연구 수행을 도왔습니다. 점차적으로 Denis는 자신이 이 방향으로 일하고 장애인을 위해 발전하기를 원한다는 것을 깨달았습니다. 따라서 2014년 새로운 통일재단의 과학 연구에 참여하라는 제안을 받았을 때 그는 즉시 동의했습니다.
농아자지원재단 "So-Unity" 설립2014년 4월. 청각 장애인의 사회화를 다룬다: 지역 지원 센터를 개설하고 고용, 여가 및 창조적 자아 실현의 기회를 창출합니다. 법률, 심리 및 표적 지원을 제공합니다.
펀드는 다음을 포함한 다양한 프로젝트를 축적했습니다.Denis가 참여한 청각 장애 문제와 관련된 젊음과 과학. Kuleshov는 이렇게 회상합니다.
가전 제품의 뉘앙스
2017년 Sensor-Tech 연구소가 등장하여,통일재단이 설립한 즉시 청각 장애인과 시각 장애인을 위한 장치 제작 작업이 시작되었습니다. 과학 및 기술 이니셔티브(Scientific and Technological Initiative)의 보조금이 Neuronet 로드맵의 틀 내에서 이를 위해 할당되었습니다.
보조금을 받기 위한 조건은 프로젝트의 공동 자금 조달이었습니다. 70%는 NTI가 할당하고 나머지 자금은 개발자가 직접 찾아야 했습니다. 누락된 30%는 통일재단에서 제공했습니다.
실험실 작업은 처음부터 새로 구축해야 했습니다.장치의 프로토타입이 조립되는 설계 국과 파일럿 공장을 구성했습니다. 개발자가 직면 한 첫 번째 문제는 가전 제품 제작 경험이 부족하다는 것입니다. 계측 분야에서 그들의 이전 경험은 주로 방위 산업과 관련이 있었습니다.
시각 장애인을 위한 장치의 첫 번째 프로토타입은 다음과 같이 밝혀졌습니다.사용하기 너무 번거롭고 불편합니다. 사용자로부터 피드백을 받은 개발자는 이를 심각하게 변형했습니다. 장치가 중단 없이 작동하고 사용하기 쉽고 이해하기 쉬워야 했습니다.
이제 실험실은 맹인 및 시각 장애인을 위한 장치인 "Robin"과 청각 장애가 있는 사람을 위한 장치인 "Charlie"를 개발했습니다.
“장애인을 위한 기기 시장은 그리 크지 않지만,모든 생산은 소규모이며 비용이 많이 듭니다.”라고 Denis는 말합니다. 이것이 장치의 가격이 다소 높은 이유입니다. "로빈"은 150,000 루블, "찰리"는 195,000 루블입니다. 따라서 제조업체는 기술 회생 수단 목록에 자신의 발명을 포함시키기 위해 정부와 협상하고 있습니다. 이 경우 정부는 구매 비용을 보상합니다.
당신이 본 것을 말해
외견상 "로빈"은 휴대용 카메라와 비슷합니다.센서는 물체를 스캔하고 인공 지능은 사용자 앞에 있는 자동차, 테이블, 컴퓨터, 다른 사람을 결정합니다. 장치 메모리에 50개 이상의 개체가 있습니다. 거기에 사진을 올리면 사람을 인식하고 이름을 말합니다. 어둠 속에서 "로빈"을 사용하기 위해 손전등이 내장되어 있습니다. 이 경우 가젯은 개체의 이름을 지정할 뿐만 아니라 개체까지의 거리도 추정합니다.
"로빈"의 첫 번째 릴리스는 실패했습니다.장치가 물체를 감지하려면 장치를 가리키고 버튼을 누르고 2초 이상 기다려야 했습니다. 그러나 이것이 사용자에게 불편한 것으로 판명되었습니다. 버튼을 누른 직후 장치를 좌우로 움직이기 시작했습니다. 이 때문에 "로빈"이 말한 정보는 관련성이 없는 것으로 판명되었습니다. 그는 움직이기 전에 인식한 대상을 설명하고 있었습니다.
“우리는 장치를 어떻게 도와야 하는지,직접적이고 사람들은 그러한 경험이 없었습니다. 이 때문에 장치가 제대로 작동하지 않는 것처럼 보였습니다.”라고 Alexander는 설명합니다. 그런 다음 개발자는 작업 원칙을 변경하기로 결정했습니다. 장치의 피드백 시간이 1초로 단축된 반면 "로빈"은 버튼을 눌렀을 때만 작동했습니다. 이 옵션은 사용자에게 더 명확하고 쉬운 것으로 판명되었습니다.
“시장에 직접적인 경쟁자, 즉 동일한 기능을 가진 장치가 없습니다. 그러나 OrCam과 같은 유사체가 있습니다. "라고 Alexander는 말합니다.
OrCam MyEye 및 OrCam MyReader- 휴대용 인공 시각 장치,같은 이름의 이스라엘 회사에서 생산됩니다. 안경다리에 부착할 수 있는 소형 무선 카메라입니다. 첫 번째 장치는 인쇄된 텍스트와 디지털 텍스트, 제품 바코드를 읽고 얼굴을 인식하며 수신된 정보를 말합니다. 두 번째는 텍스트를 읽는 데에만 사용됩니다. 가젯은 17개 언어를 지원하며 인터넷 연결이 필요하지 않습니다.
음성이 텍스트로 바뀝니다.
"Charlie"는 다음과 같은 문제가 있는 사람들을 위한 것입니다.듣기. 청각 장애인을 위한 교육 경험이 있는 사람들이 개발에 참여했습니다. 이에 개발자들은 소통 과정에서 발생하는 어려움과 양 당사자의 요청을 인지하고 있었다.
장치는 2m 거리에서 음성을 포착하고화면에 텍스트로 표시합니다. 가제트는 청각 장애인도 사용할 수 있습니다. 이를 위해 점자 디스플레이가 "Charlie"에 연결됩니다. 손가락으로 정보를 읽고 응답을 입력할 수 있습니다.
점자는 1824년에 개발되었습니다.그것은 볼록한 점과 그들 사이의 공극의 시스템입니다. 각 문자는 3x2 격자를 사용하여 인코딩됩니다. 각 셀 내의 점 조합은 문자 또는 구두점에 해당합니다. 예를 들어 텍스트가 스크립트를 라틴어에서 키릴 자모로 변경하는 경우 특수 기호로도 표시됩니다.
개발자는 "Charlie"의 유사체가시장도 그렇지 않다. 음성을 텍스트로 변환하는 수많은 프로그램은 주로 두 사람이 서로 통신하기 위한 것이 아니라 인간과 컴퓨터의 상호 작용을 위해 설계되었습니다.
음성 인식이 가능한 최초의 기계50년대 Bell Labs의 벽 안에 등장했습니다. 장치는 0에서 9까지의 숫자를 결정했습니다. 동시에 기계는 발명가를 훨씬 더 잘 이해했습니다. 그가 말할 때 재생 정확도는 약 90%였습니다. 이 장치는 70-80%의 경우에만 다른 사람의 말을 올바르게 인식했습니다.
90년대까지 음성 인식은템플릿: 음파가 일련의 숫자로 변환되었으며 음성이 샘플과 일치할 때 결과가 표시되었습니다. 따라서 음성 신호의 정확한 해석을 위해서는 배경 소음을 제거하고 느리고 명확하게 말해야 했습니다.
단어 사이에 일시 중지가 필요하지 않은 최초의 음성 인식기는 Dragon's NaturallySpeaking이었습니다. 1997년에 등장해 현재도 사용되고 있다.
머신 러닝과 AI 기술이 크게음성 인식 시스템을 개선하고 알고리즘을 각 사람의 개별 의사 소통 방식에 적용할 수 있게 했습니다. 그 결과 Google Assistant, Apple의 Siri, Amazon의 Alexa, Yandex의 "Alice"와 같은 음성 비서가 등장했습니다. 또한 음성 인식, 음성을 문자 메시지로 번역하기 위한 ListNote, SpeechNotes와 같은 특수 응용 프로그램이 있습니다. Speechlogger와 같은 일부 응용 프로그램은 한 언어에서 다른 언어로 동시 번역을 수행할 수도 있습니다.
대화 상대는 "Charlie"의 도움으로 의사 소통을 할 수 있습니다.중개자에 의존하지 않고 서로. 또한, 이 장치는 예를 들어 대학에서 강의하거나 회의를 개최하는 등의 원격 통신에 사용할 수 있습니다. 발표자가 "Charlie"를 옆에 두고 청취자는 링크로 프로그램에 연결하는 것으로 충분합니다. 해독된 음성은 실시간으로 스마트폰이나 컴퓨터의 화면에 표시됩니다.
세상을 다시 보다
또한 "Sensor-Tech"는 시력 회복을 위한 신경 기술 사용과 관련된 과학 연구에 참여합니다.
모든 것은 2016년 국제 대회에서 시작되었습니다.미국에서 열린 회의. 그곳에서 통일재단 대표들은 바이오닉 비전을 다루는 미국 기업을 만났다. 그들은 시각 장애인에게 생체 공학 칩을 이식하기 위해 러시아에서 실험을 수행하기로 동의했습니다.
"이 장치는 모든 사람에게 적용되지 않을 수 있습니다.맹인의 경우, 이것은 주로 색소성 망막염과 같이 상당히 좁은 범위의 질병입니다. 특이성은 그것으로 빛을 전기 신호로 변환하는 단 하나의 세포 층이 죽는다는 것입니다. 나머지 세포는 살아 있습니다.”라고 Denis는 설명합니다.
색소 성 망막염- 다음과 관련된 유전병X 염색체. 이 병리로 인해 이미지를 수집하고 이를 시신경을 따라 뇌로 전송하는 망막 세포가 점차 파괴됩니다. 이 질병은 측면 시력과 야간 시력의 상실로 시작되어 결국 완전한 실명으로 이어집니다. 색소성망막염은 효과적인 예방법도 없고 치료 방법도 없습니다. 마이크로칩 이식은 아직 개발 중이며, 의사들은 유전자 치료와 줄기세포 치료가 획기적인 발전이 될 수 있다고 제안합니다.
그 결과 So-Soyedinenie와 Art, Science and Sport 펀드의 데이터베이스에서 올바른 진단을 받은 두 사람을 찾았습니다.수반되는 병리는 없었다. 2017년에는 Grigory Ulyanov와 Antonina Zakharchenko에 임플란트가 설치되었습니다. 수술 자금은 Alisher Usmanov Foundation에서 할당했습니다.
Alisher Usmanov 재단 "예술, 과학 및 스포츠"2006년 설립. 재정 교육 및 과학 프로젝트(MGIMO, MISiS와 협력), 박물관 및 극장 지원(Sovremennik, Tretyakov Gallery, Igor Moiseyev의 앙상블 및 기타). 재단은 또한 건강한 생활 방식을 장려하고 장애인을 포함하여 대회를 조직합니다.
수술 중 환자의 망막이전극을 이식합니다. 카메라가 내장 된 특수 안경과 관련이 있습니다. 카메라의 정보는 이미지를 처리하고 임플란트에 신호를 보내는 마이크로컴퓨터로 전송됩니다. 전기 자극은 시신경을 따라 뇌로 전달되어 그림이 형성됩니다.
임플란트에는 60개의 전극이 있습니다.60픽셀의 사진 - 임플란트에 의해 자극된 포인트의 수에 따라. 그것의 도움으로 창문, 문, 테이블, 자동차와 같이 충분히 큰 물체의 이미지를 얻을 수 있습니다. 더 작은 물체는 전극이 형성하는 "매트릭스"에서 떨어지거나 데이터가 이를 식별하기에 충분하지 않을 수 있습니다.
환자가 담당하는 세포가 없기 때문에연색성, 이미지는 흑백입니다. 그러나 완전한 실명에 비해 건강한 사람의 관점에서 그러한 제한된 시력조차도 환자의 능력을 크게 확장합니다. 그들은 외부의 도움이나 추가 장치 없이 낯선 조건에서도 우주에서 방향을 잡을 수 있으며 상당히 독립적입니다.
Sensor-Tech는 수술이 허용되기를 바랐습니다.러시아에 임플란트를 등록하고 첨단 의료의 틀 내에서 사용할 수 있도록 합니다. 그러나 문제가 발생했습니다. 보건부는 두 번의 수술만으로는 임플란트의 안전성에 대한 결론을 내리기에 충분하지 않다고 판단했습니다. 미국인들은 이 방법이 결국 승인될 것이라는 보장이 없었기 때문에 추가 실험을 거부했습니다.
“안구 이식에 관한 이야기는 끝났습니다.그러나 이것은 뇌에 이식되는 피질 임플란트의 형태로 지속되기 때문에 더욱 좋습니다. 이것은 정보의 시각적 처리가 일어나는 곳입니다. 칩은 눈이 아닌 모든 종류의 실명에 사용할 수 있습니다. 이것은 더 하이테크 솔루션입니다.”라고 Denis는 말합니다.
이미 2021년에 회사는 첫 번째새로운 방향으로의 발전. 이것은 러시아 최초의 뇌를 위한 ELVIS 신경 임플란트로 맹인 및 청각 장애인의 시력 회복을 돕습니다. 이 장치는 뇌에 이식된 임플란트, 머리에 착용할 두 대의 카메라가 달린 고리, 눈의 기능을 대신하는 후프, 이미지를 분석하여 뇌로 전송하는 마이크로컴퓨터가 있습니다. 이 기술을 통해 사물, 사람의 실루엣을 구별하고 사물의 위치를 파악할 수 있습니다.
시스템이 설치류에 대해 테스트되는 동안 원숭이에 대한 테스트가 따를 것입니다. 2024년에는 10명의 시각 장애인 자원봉사자가 피질 임플란트를 설치할 계획입니다.
피질 시각 임플란트대뇌피질에 설치된다.시각적 영역을 자극하여 시각적 감각을 유발합니다. 전문가들에 따르면, 이를 통해 생체공학 임플란트를 사용할 때 불가능했던 영상의 밝기 변경과 연색성 확보가 가능해질 것이라고 한다. 피질 임플란트를 이식하는 첫 번째 수술은 지난 세기 70년대에 수행되었습니다. 그리고 2018년에 미국 회사인 Second Sight는 최초의 시각 장애인 자원봉사자들에게 현대식 신경 임플란트를 공개적으로 설치했습니다. 해당 기술은 임상시험 중이다.
과학 연구 및 해외 시장
연구실의 경우에는 그 밖에도 있다개발. 예를 들어, 시각 장애인이 지폐의 액면가를 결정하는 데 도움이 되도록 이동통신사와 함께 휴대전화용 무료 애플리케이션을 개발했습니다. iOS 및 Android에서 사용할 수 있습니다.
지폐의 액면가를 알아보려면 스마트폰 카메라로 지폐를 가리키기만 하면 됩니다. AI는 지폐를 식별하고 이름을 지정합니다. 그리고 동시에 여러 개의 지폐를 가리키면 장치가 즉시 금액을 계산합니다.
다음을 가진 사람이 응용 프로그램을 사용하는 경우성우를 들을 수 없는 시각 및 청각 장애가 있는 경우 진동을 사용하여 법안의 명칭을 인식할 수 있습니다. 다른 명칭에는 고유한 모드가 있습니다.
전화가 청구서를 인식하지 못하는 경우 다음을 수행할 수 있습니다.사진을 찍고 "개발자를 위한 도움말" 기능을 통해 데이터베이스에 추가하십시오. 일반적으로 새 메모나 희귀 메모를 발행할 때 필요합니다.
Sensor-Tech는 디바이스 생산과 더불어청각 장애 분야의 과학 연구에 종사하고 있습니다. "우리는 건강한 사람들이 시각이나 청각 장애가 있는 사람들이 일반적으로 세상을 어떻게 인식하는지 이해하도록 하고 싶습니다."라고 Andrey는 말합니다.
인스타그램에서 이 게시물 보기
그래서 실험실은 위반 시뮬레이터를 만들었습니다.view: VR 시뮬레이터 See My World 및 모바일 버전 SMW Pro. "간섭"은 라이브 이미지 또는 정적 이미지에 중첩됩니다. 그 결과 특정한 시각적 결함에 따라 영상이 왜곡된다. 예를 들어, 이미지가 흐려지거나 이미지 중앙에 검은 점이 나타납니다.
“우리는 어떤 사람이다양한 시각 장애. 말 그대로 : 백내장, 근시, 난시, 녹내장이있는 사람의 눈을 통해 보는 방법 "이라고 Andrey는 말합니다. 또한 시뮬레이터를 사용하여 시간 경과에 따른 질병의 역학을 추적할 수 있습니다. 이것은 의사와 학생들이 임상 사진과 환자의 가까운 친척을 더 잘 연구하는 데 도움이 됩니다. 말 그대로 그의 눈을 통해 세상을 바라볼 수 있습니다.
"이미지를 최대한 정확하게 만들기 위해그것을 만들기 위해 질병의 임상 사진이 사용됩니다. 또한 환자와 함께 결과를 명확히 하여 시력이 아직 심각하게 훼손되지 않은 경우 환자가 보고 있는지 확인할 수 있습니다.”라고 Andrey는 설명합니다.
이제 개발자는 자신의유럽 및 미국 시장의 장치. 아마존에 가제트를 올리고, 장애인 문제를 다루는 정부 기관과 공공 기관에도 보급할 계획입니다. Denis는 응용 개발 시장이 성장할 것이라고 확신합니다. Sensor-Tech 연구소 소장은 기술 덕분에 장애인의 삶을 더 쉽게 만드는 것이 자신의 사명이라고 생각합니다.
더 읽어보기 :
AI는 과학자들이 50년 동안 싸워온 생물학적 문제를 해결했습니다.
작업에 30조 년이 아닌 밀리초: 중국이 새로운 양자 컴퓨터를 도입했습니다.
과학자들은 COVID-19에 감염될 수 없는 사람들을 찾고 있습니다. 그들의 데이터를 바탕으로 약을 만들 것입니다.