Denis Kuleshov- Sensör Teknolojisi laboratuvarının yöneticisi.
Alexander Popov— Baş Tasarımcı
Andrey Demchinsky- Sensor-Tech'te tıbbi projelerin başkanı.
Kısıtlamaları ortadan kaldıran nöroteknolojiler
Bir adam caddede yürüyor.Bir elinde, yolu hissettiği beyaz bir baston var. Diğerinde ise video kameraya benzeyen küçük siyah bir nesne var. Adam onu önce önüne, sonra yanlara yönlendirir. Yoldan geçenler, şu anda kulaklıkta duyduğunu bilmiyor: “Araba, mesafe - 5 metre. Adam, mesafe - 3 metre."
MFC'ye bir kişi daha geliyor.Operatör gülümseyerek “Merhaba” der ve bu kelime ekranda ziyaretçiye dönük olarak görünür. Adam gülümser ve operatörün bilgisayar monitöründe okuyacağı klavyede sorunu yazmaya başlar. İşitme güçlüğü çeken kişiler ile dış dünya arasındaki aracı, konuşmayı metne dönüştüren küçük bir cihazdır.
Her iki cihaz da şirket bünyesinde geliştirilmiş ve üretilmiştir."Sensör Teknolojisi". Direktörü Denis Kuleshov, henüz enstitüdeyken engelliler için kuruluşlarla işbirliği yapmaya başladı: araştırma yapılmasına yardımcı oldu. Yavaş yavaş Denis, bu yönde çalışmak ve engelli insanlar için gelişmek istediğini fark etti. Bu nedenle, 2014 yılında yeni So-Unification vakfının bilimsel araştırmasına katılması teklif edildiğinde, hemen kabul etti.
Sağır-Körleri Destekleme Vakfı "So-Birlik" kurulduNisan 2014'te. Sağır-körlerin sosyalleşmesiyle ilgilenir: bölgesel destek merkezleri açar, istihdam, boş zaman ve yaratıcı kendini gerçekleştirme fırsatları yaratır; hukuki, psikolojik ve hedefe yönelik yardım sağlar.
Fon, aşağıdakiler de dahil olmak üzere çeşitli projeler biriktirdi:Denis'in yer aldığı sağır-körlük meseleleriyle ilgili gençlik ve bilimsel. Kuleshov, “Bir noktada, bunu, bu konularla özel bir şekilde ilgilenen ayrı bir laboratuvar formatında geliştirmenin çok daha etkili ve daha doğru olacağına karar verildi” diye hatırlıyor.
Ev aletlerinin nüansları
2017 yılında Sensor-Tech laboratuvarı ortaya çıktı,hangi So-Unification Foundation tarafından kurulmuştur. İşitme engelliler ve körler için gadget'ların oluşturulmasına hemen başlandı. Neuronet yol haritası çerçevesinde bunun için Bilimsel ve Teknolojik Girişim'den bir hibe tahsis edildi.
Hibe alma koşulu, projenin ortak finansmanıydı: %70'i NTI tarafından tahsis edildi, kalan paranın geliştiricilerin kendileri tarafından bulunması gerekiyordu. Eksik %30, So-Unification Foundation tarafından sağlandı.
Laboratuvarın çalışması sıfırdan yapılmalıydı:cihazların prototiplerinin monte edildiği bir tasarım bürosu ve bir pilot tesis kurdu. Geliştiricilerin karşılaştığı ilk sorun, ev aletleri yaratma konusundaki deneyim eksikliğidir. Enstrümantasyondaki önceki deneyimleri ağırlıklı olarak savunma sanayi ile ilgiliydi.
Körler için bir cihazın ilk prototipi olduğu ortaya çıktı.kullanımı çok zahmetli ve zahmetli. Kullanıcılardan geri bildirim alan geliştiriciler, onu ciddi şekilde dönüştürdü. Cihazın kesintisiz çalışması, kullanımı rahat ve anlaşılır olması gerekiyordu.
Şimdi laboratuvar kör ve görme engelliler için bir cihaz - "Robin" ve işitme engelli insanlar için bir cihaz - "Charlie" geliştirdi.
“Engelliler için cihaz pazarı çok büyük değil,tüm üretim küçük ölçekli ve pahalı ”diyor Denis. Cihazların oldukça yüksek fiyatının nedeni budur: "Robin" 150 bin ruble, "Charlie" - 195 bin ruble. Bu nedenle, üreticiler buluşlarını teknik rehabilitasyon araçları listesine dahil etmek için hükümetle görüşüyorlar - bu durumda hükümet satın alma maliyetlerini tazmin edecek.
Bana ne gördüğünü söyle
Dışa doğru "Robin" taşınabilir bir kameraya benziyor.Sensörler nesneleri tarar ve yapay zeka, kullanıcının önünde ne olduğunu belirler - bir araba, bir masa, bir bilgisayar veya başka bir kişi. Toplamda, cihazın hafızasında 50'den fazla nesne var. Oraya fotoğraf yüklerseniz kişiyi tanır ve adını söyler. Karanlıkta "Robin" kullanmak için içine bir el feneri yerleştirildi. Bu durumda, gadget yalnızca nesneyi adlandırmakla kalmaz, aynı zamanda ona olan mesafeyi de tahmin eder.
"Robin" in ilk sürümü başarısız oldu.Cihazın bir cismi algılaması için cihazı doğrultmak, düğmeye basmak ve en az 2 saniye beklemek gerekiyordu. Ancak bunun kullanıcılar için uygun olmadığı ortaya çıktı: düğmeye bastıktan hemen sonra cihazı bir yandan diğer yana sürmeye başladılar. Bu nedenle, "Robin" tarafından seslendirilen bilgilerin alakasız olduğu ortaya çıktı: taşınmadan önce tanıdığı nesneleri anlatıyordu.
“Cihaza nasıl yardım edeceğimizi ve nereye gideceğimizi biliyorduk.doğrudan ve insanların böyle bir deneyimi yoktu. Bu nedenle, onlara cihazın iyi çalışmadığı görülüyordu ”diye açıklıyor Alexander. Sonra geliştiriciler çalışma prensibini değiştirmeye karar verdiler. Cihazdan gelen geri bildirim süresi bir saniyeye düşürüldü, "Robin" ise yalnızca düğmeye basıldığında çalıştı. Bu seçeneğin kullanıcılar için daha net ve kolay olduğu ortaya çıktı.
“Piyasada doğrudan rakip, yani aynı işlevlere sahip cihazlar yok. Ancak analoglar var, örneğin OrCam ”diyor Alexander.
OrCam MyEye ve OrCam MyReader- taşınabilir yapay görme cihazları,Aynı adı taşıyan İsrailli şirket tarafından üretilmektedir. Gözlük şakağına takılabilen küçük bir kablosuz kameradırlar. İlk cihaz basılı ve dijital metinleri, ürün barkodlarını okuyor, yüzleri tanıyor ve alınan bilgileri söylüyor. İkincisi yalnızca metinleri okumak için kullanılır. Gadget'lar 17 dili destekliyor ve İnternet bağlantısı gerektirmiyor.
Ses metne dönüşüyor
"Charlie" ile sorunları olan insanlar için tasarlanmıştır.işitme. İşitme engelliler için öğretim deneyimi olan kişiler gelişimine katıldı. Bu nedenle geliştiriciler, iletişim sürecinde ortaya çıkan zorlukların ve her iki tarafın isteklerinin farkındaydı.
Cihaz, 2 m mesafedeki konuşmayı alır vemetin olarak ekranda görüntüler. Gadget ayrıca sağır-körler tarafından da kullanılabilir - bunun için "Charlie" ye bir Braille ekranı bağlanır. Bilgileri parmaklarınızla okumanıza ve bir yanıt girmenize olanak tanır.
Braille, 1824'te geliştirildi.Aralarındaki dışbükey noktalar ve boşluklardan oluşan bir sistemdir. Her karakter 3x2 kafes kullanılarak kodlanmıştır. Her hücre içindeki noktaların birleşimi bir harfe veya noktalama işaretine karşılık gelir. Metin, komut dosyasını örneğin Latince'den Kiril'e değiştirirse, bu da özel bir sembolle belirtilir.
Geliştiriciler, "Charlie" analoglarınınpiyasa da yok. Konuşmayı metne çeviren çok sayıda program, iki kişinin birbiriyle iletişim kurması için değil, öncelikle insan-bilgisayar etkileşimi için tasarlanmıştır.
Ses tanıma özelliğine sahip ilk makine50'lerde Bell Laboratuarlarının duvarları içinde ortaya çıktı. Cihaz, sıfırdan dokuza kadar sayıları belirledi. Aynı zamanda, makine mucidi çok daha iyi anladı: konuştuğunda, çoğaltma doğruluğu yaklaşık %90'dı. Cihaz, vakaların yalnızca% 70-80'inde diğer kişilerin konuşmalarını doğru bir şekilde tanıdı.
90'lı yıllara kadar konuşma tanıma,şablonlar: ses dalgaları bir dizi sayıya çevrildi ve konuşma örnekle eşleştiğinde sonuç görüntülendi. Bu nedenle ses sinyallerinin doğru yorumlanması için arka plandaki gürültünün ortadan kaldırılması, yavaş ve net bir şekilde konuşulması gerekiyordu.
Kelimeler arasında duraklama gerektirmeyen ilk konuşma tanıyıcı Dragon'un NaturallySpeaking'iydi. 1997'de ortaya çıktı ve bugün hala kullanılıyor.
Makine öğrenimi ve yapay zeka teknolojileri önemli ölçüdekonuşma tanıma sistemini geliştirdi ve algoritmaları her bir kişinin bireysel iletişim tarzına uyarlamayı mümkün kıldı. Sonuç, sesli asistanların ortaya çıkmasıydı: Google Asistan, Apple'dan Siri, Amazon'dan Alexa, Yandex'den “Alice”. Ek olarak, konuşma tanıma, bir sesin metin mesajına çevrilmesi için ListNote, SpeechNotes gibi özel uygulamalar vardır. Speechlogger gibi bazı uygulamalar, bir dilden diğerine eşzamanlı çeviri bile yapabilir.
"Charlie"nin yardımıyla muhataplar iletişim kurabilecekler.Bir aracıya başvurmadan birbirleriyle. Ayrıca cihaz, örneğin üniversitelerdeki dersler veya toplantılar için uzaktan iletişim için kullanılabilir. Sunucunun yanına "Charlie" koyması ve dinleyicilerin programa bağlantıyla bağlanması yeterlidir. Kodu çözülen konuşma, gerçek zamanlı olarak bir akıllı telefonun veya bilgisayarın ekranında görüntülenecektir.
dünyayı tekrar gör
Ayrıca, "Sensor-Tech", görmenin geri dönüşü için nöroteknolojilerin kullanımı ile ilgili bilimsel araştırmalara katılır.
Her şey 2016'da uluslararası bir yarışmada başladı.ABD'deki konferanslar. Orada, So-Unification Foundation'ın temsilcileri, biyonik vizyonla uğraşan bir Amerikan şirketi ile bir araya geldi. Kör insanlara biyonik çipler yerleştirmek için Rusya'da bir deney yapmayı kabul ettiler.
“Cihaz herkese uygulanamayabilirkörlerin, bu, esas olarak retinitis pigmentosa olmak üzere oldukça dar bir hastalık havuzudur. Tuhaflık, onunla birlikte ışığı elektrik sinyaline dönüştüren sadece bir hücre katmanının ölmesidir. Hücrelerin geri kalanı hayatta kalıyor ”diye açıklıyor Denis.
Retinitis pigmentoza- ilişkili kalıtsal bir hastalıkX kromozomu. Bu patolojiyle görüntüleri toplayan ve bunları optik sinir yoluyla beyne ileten retina hücreleri yavaş yavaş yok edilir. Hastalık, yan ve gece görüşünün kaybıyla başlar ve sonunda tam körlüğe yol açar. Retinitis pigmentozaya karşı etkili bir koruyucu önlem olmadığı gibi tedavi yöntemleri de yoktur. Mikroçiplerin implantasyonu halen geliştirilme aşamasındadır ve doktorlar aynı zamanda gen terapisi ve kök hücre tedavisinin de çığır açıcı olabileceğini ileri sürmektedir.
Sonuç olarak, So-Birleşme ve Sanat, Bilim ve Spor fonlarının veri tabanlarında doğru tanı konmuş iki kişi buldueşlik eden patolojiler yoktu. 2017 yılında implantlar Grigory Ulyanov ve Antonina Zakharchenko'ya yerleştirildi. Operasyon için fonlar Alisher Usmanov Vakfı tarafından tahsis edildi.
Alisher Usmanov Vakfı "Sanat, Bilim ve Spor"2006 yılında kuruldu. Eğitim ve bilimsel projeleri finanse eder (MGIMO, MISiS ile işbirliği yapar), müzeleri ve tiyatroları destekler (Sovremennik, Tretyakov Galerisi, Igor Moiseev'in topluluğu ve diğerleri). Vakıf ayrıca sağlıklı yaşam tarzlarını teşvik eder ve engelliler de dahil olmak üzere yarışmalar düzenler.
Operasyon sırasında hastanın retinası yerleştirilir.elektrotlarla implante edin. Dahili kameralı özel gözlüklerle ilişkilendirilir. Kameradan gelen bilgiler, görüntüyü işleyen ve implanta sinyaller gönderen bir mikro bilgisayara iletilir. Elektriksel uyarılar, optik sinir boyunca bir resmin oluşturulduğu beyne iletilir.
İmplant, karşılaştırılabilecek 60 elektrota sahiptir.60 piksellik bir resim - implant tarafından uyarılan noktaların sayısına göre. Yardımı ile yalnızca yeterince büyük nesnelerin - pencereler, kapılar, masalar, arabalar - görüntüsünü alabilirsiniz. Daha küçük nesneler, elektrotların oluşturduğu "matris"ten düşebilir veya veriler onları tanımlamak için yetersiz olabilir.
Hasta sorumlu hücrelere sahip olmadığı içinrenk sunumu, görüntü siyah beyazdır. Ancak tam körlükle karşılaştırıldığında, sağlıklı bir insan açısından bu kadar sınırlı görme bile hastaların yeteneklerini önemli ölçüde genişletir. Alışık olmadıkları koşullarda bile, dışarıdan yardım veya ek cihazlar olmadan uzayda gezinebilirler ve oldukça bağımsız hale gelirler.
Sensor-Tech, operasyonun izin vereceğini umuyordu.Rusya'da implantları kaydettirin ve bunları yüksek teknolojili tıbbi bakım çerçevesinde kullanılabilir hale getirin. Ancak bir sorun ortaya çıktı: Sağlık Bakanlığı, implantların güvenliği hakkında bir sonuca varmak için iki operasyonun yeterli olmadığını düşündü. Amerikalılar da, bu yöntemin sonunda onaylanacağının garantisi olmadığı için daha fazla deney yapmayı reddetti.
“Göz implantları açısından hikaye bitti.Ancak bu bile iyidir, çünkü beyne yerleştirilen kortikal implantlar şeklinde bir devamı vardır. Bilginin görsel olarak işlenmesi orada gerçekleşir. Cips, göz körlüğünün aksine her türlü körlük için kullanılabilir. Bu daha yüksek teknolojili bir çözüm ”diyor Denis.
Zaten 2021'de şirket ilkini sunduyeni bir yönde gelişme. Bu, Rusya'daki beyin için ilk ELVIS nöroimplantıdır; kör ve sağır-kör insanlara vizyonun geri kazandırılmasına yardımcı olur. Cihaz, beyne yerleştirilmiş bir implanta, kafaya takılacak iki kameralı bir halkaya - gözlerin işlevini üstlenirler ve görüntüyü analiz eden ve beyne ileten bir mikro bilgisayara sahiptir. Teknoloji, nesnelerin, insanların silüetlerini ayırt etmeyi ve nesnelerin konumlarını anlamayı mümkün kılar.
Sistem kemirgenler üzerinde test edilirken, maymunlar üzerinde testler yapılacak. 2024 yılında 10 kör gönüllü kortikal implant yerleştirmeyi planlıyor.
Kortikal görsel implantlarserebral kortekse yerleştirilmiştir.Görsel alanları uyararak görsel duyumlara neden olurlar. Uzmanlara göre bu, biyonik implantlar kullanıldığında imkansız olan, görüntülerin parlaklığını değiştirmeyi ve renk sunumunu sağlamayı mümkün kılacak. Kortikal implantların implantasyonuna yönelik ilk operasyonlar geçen yüzyılın 70'li yıllarında gerçekleştirildi. Ve 2018'de Amerikan şirketi Second Sight, ilk kör gönüllülere modern nöroimplantları halka açık bir şekilde yerleştirdi. Teknoloji klinik denemelerden geçiyor.
Bilimsel araştırma ve yurtdışı pazarlar
Laboratuvar vakaları arasında başkaları da var.gelişim. Örneğin, görme engelli kişilerin banknotların değerini belirlemesine yardımcı olmak için bir cep telefonu operatörüyle birlikte cep telefonları için ücretsiz bir uygulama geliştirildi. iOS ve Android'de kullanılabilir.
Bir faturanın değerini öğrenmek için akıllı telefonunuzun kamerasını faturaya doğrultmanız yeterlidir. AI, banknotu tanımlayacak ve adlandıracaktır. Ve kamerayı aynı anda birkaç faturaya doğrultursanız, cihaz tutarlarını hemen hesaplayacaktır.
Uygulama bir kişi tarafından kullanılıyorsaSesi duyamayan görme ve işitme engelliler, bir faturanın değeri titreşim kullanılarak tanınabilir - farklı mezhepler için kendi modları sağlanır.
Telefon faturayı tanıyamazsa,bir resim çekin ve "Geliştiriciler için yardım" işlevi aracılığıyla veritabanına ekleyin. Genellikle buna ihtiyaç, yeni veya nadir hatıra notları verilirken ortaya çıkar.
Cihaz üretimine ek olarak, Sensor-Techsağır-körlük alanında bilimsel araştırmalar yapmaktadır. Andrey, "Sağlıklı insanların görme veya işitme bozukluğu olanların dünyayı genel olarak nasıl algıladıklarını anlamalarını sağlamak istiyoruz" diyor.
Bu gönderiyi Instagram'da görüntüle
Böylece laboratuvarda ihlal simülatörleri yarattılar.görünüm: VR simülatörü See My World ve mobil versiyonu SMW Pro. "Girişim", canlı görüntünün veya statik bir görüntünün üzerine bindirilir. Sonuç olarak, resim belirli görsel kusura göre bozulur. Örneğin, bulanıklaşır veya görüntünün ortasında siyah bir nokta belirir.
"Bir kişinin nasıl olduğuna dair semptomları simüle ediyoruz.çeşitli görme bozuklukları. Kelimenin tam anlamıyla: katarakt, miyopi, astigmatizma, glokomu olan bir kişinin gözünden nasıl bakılır ”diyor Andrey. Ayrıca simülatörü kullanarak hastalığın zaman içindeki dinamiklerini takip edebilirsiniz. Bu, doktorların ve öğrencilerin klinik tabloyu ve hastanın yakın akrabalarını daha iyi incelemelerine yardımcı olur - kelimenin tam anlamıyla dünyaya onun gözünden bakar.
“Görüntüyü olabildiğince doğru hale getirmek için,oluşturmak için hastalığın klinik tablosu kullanılır. Ek olarak, görüşü henüz ciddi şekilde bozulmadıysa, görüp görmediğini teyit edebilmesi için sonucu hastayla netleştiriyoruz ”diye açıklıyor Andrey.
Şimdi geliştiriciler kendi tanıtımlarını yapmak istiyorAvrupa ve ABD pazarlarındaki cihazlar. Gadget'ların Amazon'a yerleştirilmesi ve ayrıca engellilerin sorunlarıyla ilgilenen devlet kurumlarına ve kamu kuruluşlarına gidilmesi planlanıyor. Denis, uygulama geliştirme pazarının yalnızca büyüyeceğinden emin. Sensor-Tech laboratuvarının müdürü de misyonunu teknoloji sayesinde engelli insanların hayatını kolaylaştırmak olarak görüyor.
Daha fazla oku:
AI, bilim adamlarının 50 yıldır mücadele ettiği biyolojik bir sorunu çözdü
Bir görev için 30 trilyon yıl yerine bir milisaniye: Çin yeni bir kuantum bilgisayarı tanıttı
Bilim adamları, COVID-19 ile enfekte olamayacak insanları arıyor. Verilerine dayanarak, bir ilaç yapacaklar