دينيس كوليشوف- مدير معمل تكنولوجيا الاستشعار.
الكسندر بوبوف- رئيس المصممين
أندريه ديمشينسكي- رئيس المشاريع الطبية بشركة Sensor-Tech.
التقنيات العصبية التي تزيل القيود
رجل يسير في الشارع.في يده عصا بيضاء يشعر بها الطريق. في الجانب الآخر ، يوجد جسم أسود صغير يشبه كاميرا فيديو. يوجهها الرجل أولاً أمامه ، ثم إلى الجانبين. لا يعرف المارة أنه في هذه اللحظة يسمع صوت تنبيه في سماعة الأذن: "السيارة ، المسافة - 5 أمتار. الرجل ، المسافة - 3 أمتار ".
يأتي شخص آخر إلى MFC."مرحبًا" ، يقول عامل الهاتف بابتسامة ، وتظهر هذه الكلمة على الشاشة في مواجهة الزائر. يبتسم الرجل ويبدأ في كتابة المشكلة على لوحة المفاتيح ، والتي سيقرأها المشغل على شاشة الكمبيوتر. الوسيط بين ضعاف السمع والعالم الخارجي هو جهاز صغير يحول الكلام إلى نص.
تم تطوير كلا الجهازين وتصنيعهما في الشركةتكنولوجيا الاستشعار. بدأ مديرها دينيس كوليشوف التعاون مع منظمات الأشخاص ذوي الإعاقة بينما كان لا يزال في المعهد: لقد ساعد في إجراء البحوث. تدريجيًا أدرك دينيس أنه يريد العمل في هذا الاتجاه والتطور للأشخاص ذوي الإعاقة. لذلك ، عندما عرض عليه في عام 2014 الانضمام إلى البحث العلمي لمؤسسة So-Unification الجديدة ، وافق على الفور.
تم إنشاء مؤسسة دعم الصم المكفوفين "So-Unity"في أبريل 2014. يتعامل مع التنشئة الاجتماعية للصم المكفوفين: فتح مراكز دعم إقليمية ، وخلق فرص للعمل ، والترفيه ، وتحقيق الذات الإبداعي ؛ يقدم المساعدة القانونية والنفسية والمستهدفة.
تراكمت في الصندوق مشاريع مختلفة ، بما في ذلكالشباب والعلمية المتعلقة بقضايا الصمم والعمى التي شارك فيها دينيس. يتذكر كوليشوف: "في مرحلة ما ، تقرر أنه سيكون أكثر فعالية وصحة تطوير هذا في شكل مختبر منفصل يتعامل مع هذه القضايا بطريقة متخصصة".
الفروق الدقيقة في الأجهزة المنزلية
في عام 2017 ، ظهر مختبر Sensor-Tech ،التي أسستها مؤسسة So-Unification Foundation. على الفور ، بدأ العمل على إنشاء أجهزة لضعاف السمع والمكفوفين. تم تخصيص منحة من المبادرة العلمية والتكنولوجية لهذا الغرض في إطار خارطة طريق Neuronet.
كان شرط استلام المنحة هو التمويل المشترك للمشروع: تم تخصيص 70٪ من قبل NTI ، أما باقي الأموال فكان لابد من إيجادها من قبل المطورين أنفسهم. تم توفير نسبة 30٪ المفقودة من قبل مؤسسة So-Unification Foundation.
كان لابد من بناء عمل المختبر من الصفر:شكل مكتب تصميم ومصنعًا تجريبيًا ، حيث تم تجميع نماذج أولية للأجهزة. المشكلة الأولى التي يواجهها المطورون هي قلة الخبرة في إنشاء الأجهزة المنزلية. كانت خبرتهم السابقة في الأجهزة مرتبطة بشكل أساسي بصناعة الدفاع.
تبين أن أول نموذج أولي لجهاز للمكفوفين هومرهقة للغاية وغير مريحة للاستخدام. بعد تلقي تعليقات من المستخدمين ، قام المطورون بتغييرها بشكل جدي. كان من الضروري جعل الجهاز يعمل دون انقطاع ، وأن يكون مناسبًا ومفهومًا للاستخدام.
الآن قام المختبر بتطوير جهاز للمكفوفين وضعاف البصر - "روبن" وجهاز لذوي الإعاقات السمعية - "تشارلي".
"سوق أجهزة الأشخاص ذوي الإعاقة ليس كبيرًا جدًا ،يقول دينيس: "كل الإنتاج صغير ومكلف". هذا هو سبب ارتفاع سعر الأجهزة: "روبن" يكلف 150 ألف روبل ، "تشارلي" - 195 ألف روبل. لذلك ، يتفاوض المصنعون مع الحكومة لإدراج اختراعاتهم في قائمة وسائل إعادة التأهيل الفني - في هذه الحالة ، ستعوض الحكومة تكاليف الشراء.
قل لي ماذا ترى
يشبه "روبن" ظاهريًا كاميرا محمولة.تقوم المستشعرات بفحص الأشياء ، ويحدد الذكاء الاصطناعي ما هو أمام المستخدم - سيارة ، طاولة ، كمبيوتر ، شخص آخر. يوجد أكثر من 50 عنصرًا في ذاكرة الجهاز. إذا قمت بتحميل الصور هناك ، فإنه يتعرف على الشخص ويقول اسمه. لاستخدام "Robin" في الظلام ، تم تضمين مصباح يدوي فيه. في هذه الحالة ، لا تقوم الأداة بتسمية الكائن فحسب ، بل تقوم أيضًا بتقدير المسافة إليه.
كان الإصدار الأول من "Robin" غير ناجح.لكي يكتشف الجهاز كائنًا ، كان من الضروري توجيه الجهاز والضغط على الزر والانتظار لمدة ثانيتين على الأقل. لكن اتضح أن هذا كان غير مريح للمستخدمين: فور الضغط على الزر ، بدأوا في قيادة الجهاز من جانب إلى آخر. لهذا السبب ، تبين أن المعلومات التي عبّر عنها "روبن" ليست ذات صلة: لقد كان يصف الأشياء التي تعرف عليها قبل نقله.
"لقد عرفنا كيف نساعد الجهاز وأين نساعدمباشر ، ولم يكن لدى الناس مثل هذه التجربة. وبسبب هذا ، بدا لهم أن الجهاز لا يعمل بشكل جيد ، "يوضح ألكساندر. ثم قرر المطورون تغيير مبدأ العمل. تم تقليل وقت التغذية المرتدة من الجهاز إلى ثانية ، بينما يعمل "Robin" فقط عند الضغط على الزر. تبين أن هذا الخيار أوضح وأسهل للمستخدمين.
"لا يوجد منافسون مباشرون ، أي أجهزة لها نفس الوظائف ، في السوق. ولكن هناك نظائرها ، على سبيل المثال ، OrCam ، كما يقول ألكساندر.
OrCam MyEye و OrCam MyReader- أجهزة الرؤية الاصطناعية المحمولة،والتي تنتجها الشركة الإسرائيلية التي تحمل الاسم نفسه. وهي عبارة عن كاميرا لاسلكية صغيرة يمكن تركيبها على هيكل النظارات. يقرأ الجهاز الأول النصوص المطبوعة والرقمية والرموز الشريطية للمنتج ويتعرف على الوجوه ويتحدث بالمعلومات المستلمة. والثاني يستخدم فقط لقراءة النصوص. تدعم الأدوات الذكية 17 لغة ولا تتطلب اتصالاً بالإنترنت.
يتحول الصوت إلى نص
"تشارلي" مخصص للأشخاص الذين يعانون من مشاكلسمع. شارك الأشخاص ذوو الخبرة في التدريس لضعاف السمع في تطويره. لذلك ، كان المطورون على دراية بالصعوبات التي تنشأ في عملية الاتصال وطلبات الطرفين.
يلتقط الجهاز الكلام على مسافة 2 متر ويعرضه على الشاشة كنص. يمكن أيضًا استخدام الأداة من قبل الصم المكفوفين - ولهذا الغرض ، يتم توصيل شاشة برايل بـ "تشارلي". يسمح لك بقراءة المعلومات بأصابعك وإدخال الرد.
تم تطوير طريقة برايل في عام 1824.إنه نظام من النقاط المحدبة والفراغات بينهما. يتم ترميز كل حرف باستخدام شبكة 3x2. تتوافق مجموعة النقاط داخل كل خلية مع حرف أو علامة ترقيم. إذا غير النص الكتابة ، على سبيل المثال ، من اللاتينية إلى السيريلية ، فسيتم الإشارة إلى ذلك أيضًا برمز خاص.
يقول المطورون أن نظائرها من "تشارلي" علىالسوق أيضا لا. تم تصميم العديد من البرامج التي تترجم الكلام إلى نص في المقام الأول للتفاعل بين الإنسان والحاسوب ، وليس لشخصين للتواصل مع بعضهما البعض.
أول آلة قادرة على التعرف على الصوتظهرت في الخمسينيات من القرن الماضي داخل جدران مختبرات بيل. حدد الجهاز الأرقام من صفر إلى تسعة. في الوقت نفسه ، فهمت الآلة المخترع بشكل أفضل: عندما تحدث ، كانت دقة التكاثر حوالي 90٪. يتعرف الجهاز بشكل صحيح على كلام الأشخاص الآخرين فقط في 70-80٪ من الحالات.
حتى التسعينيات ، كان التعرف على الكلام يعتمد علىالقوالب: تم ترجمة الموجات الصوتية إلى مجموعة من الأرقام ، وعرضت النتيجة عند تطابق الكلام مع العينة. لذلك ، من أجل التفسير الصحيح للإشارات الصوتية ، كان من الضروري التخلص من ضوضاء الخلفية والتحدث ببطء ووضوح.
أول أداة للتعرف على الكلام لا تتطلب توقفًا مؤقتًا بين الكلمات كانت Dragon's NaturallySpeaking. ظهر في عام 1997 وما زال قيد الاستخدام حتى اليوم.
التعلم الآلي وتقنيات الذكاء الاصطناعي بشكل ملحوظتحسين نظام التعرف على الكلام وجعل من الممكن تكييف الخوارزميات لطريقة الاتصال الفردية لكل شخص. وكانت النتيجة ظهور مساعدين صوتيين: مساعد جوجل ، سيري من آبل ، أليكسا من أمازون ، "أليس" من ياندكس. بالإضافة إلى ذلك ، هناك تطبيقات خاصة ، على سبيل المثال ، ListNote و SpeechNotes للتعرف على الكلام وترجمة الصوت إلى رسالة نصية. يمكن لبعض التطبيقات ، مثل Speechlogger ، إجراء ترجمة فورية من لغة إلى أخرى.
بمساعدة "تشارلي" ، سيتمكن المحاورون من التواصلمع بعضهم البعض دون اللجوء إلى وسيط. بالإضافة إلى ذلك ، يمكن استخدام الجهاز للاتصال عن بعد ، على سبيل المثال ، لإلقاء محاضرات في الجامعات أو عقد اجتماعات. ويكفي للمذيع أن يضع "تشارلي" بجانبه ، والمستمعين - ليربطوا البرنامج بالرابط. سيتم عرض الكلام الذي تم فك تشفيره على شاشة الهاتف الذكي أو الكمبيوتر في الوقت الفعلي.
شاهد العالم مرة أخرى
كما تشارك "Sensor-Tech" في البحث العلمي المتعلق باستخدام التقنيات العصبية لاستعادة الرؤية.
بدأ كل شيء في عام 2016 على مستوى دوليالمؤتمرات في الولايات المتحدة. هناك ، التقى ممثلو مؤسسة So-Unification مع شركة أمريكية تتعامل مع الرؤية الإلكترونية. وافقوا على إجراء تجربة في روسيا لزرع رقائق الكترونية في المكفوفين.
"قد لا يكون الجهاز قابلاً للتطبيق على الجميعمن المكفوفين ، هذه مجموعة ضيقة إلى حد ما من الأمراض ، وخاصة التهاب الشبكية الصباغي. تكمن الميزة في أنه مع ذلك ، تموت طبقة واحدة فقط من الخلايا ، مما يحول الضوء إلى إشارة كهربائية. يشرح دينيس: "تبقى الخلايا المتبقية على قيد الحياة".
التهاب الشبكية الصباغي- مرض وراثي مرتبطكروموسوم X. مع هذا المرض، يتم تدمير خلايا الشبكية التي تجمع الصور وتنقلها على طول العصب البصري إلى الدماغ تدريجياً. يبدأ المرض بفقدان الرؤية الجانبية والليلية ويؤدي في النهاية إلى العمى الكامل. لا توجد تدابير وقائية فعالة ضد التهاب الشبكية الصباغي، وكذلك لا توجد طرق علاجية. لا تزال زراعة الرقائق الدقيقة قيد التطوير، ويشير الأطباء أيضًا إلى أن العلاج الجيني والعلاج بالخلايا الجذعية يمكن أن يصبح إنجازًا كبيرًا.
نتيجة لذلك ، في قواعد بيانات So-Unification وصناديق الفن والعلوم والرياضة وجدت شخصين مع التشخيص الصحيح الذينلم تكن هناك أمراض مصاحبة. في عام 2017 ، تم تركيب الغرسات في غريغوري أوليانوف وأنتونينا زاخارتشينكو. تم تخصيص الأموال للعملية من قبل مؤسسة أليشر عثمانوف.
مؤسسة أليشر عثمانوف "الفن والعلم والرياضة"تأسست عام 2006. يمول المشاريع التعليمية والعلمية (بالتعاون مع MGIMO و MISiS) ، ويدعم المتاحف والمسارح (سوفريمينيك ، ومعرض تريتياكوف ، ومجموعة إيغور مويسيف وغيرها). تعزز المؤسسة أيضًا أنماط الحياة الصحية وتنظم المسابقات ، بما في ذلك للأشخاص ذوي الإعاقة.
أثناء العملية ، يتم وضع شبكية عين المريضزرع مع الأقطاب الكهربائية. يرتبط بنظارات خاصة بكاميرا مدمجة. تنتقل المعلومات من الكاميرا إلى حاسوب دقيق يعالج الصورة ويرسل إشارات إلى الغرسة. تنتقل النبضات الكهربائية على طول العصب البصري إلى الدماغ حيث تتشكل الصورة.
يحتوي الزرع على 60 قطبًا كهربائيًا يمكن مقارنته بـصورة 60 بكسل - حسب عدد النقاط التي تحفزها الغرسة. بمساعدتها ، يمكنك الحصول على صورة لأشياء كبيرة بما يكفي فقط - النوافذ والأبواب والطاولات والسيارات. قد تسقط الأجسام الأصغر من "المصفوفة" التي تشكلها الأقطاب الكهربائية ، أو أن البيانات غير كافية للتعرف عليها.
حيث أن المريض ليس لديه الخلايا المسؤولة عنهاتسليم اللون ، الصورة بالأبيض والأسود. ولكن بالمقارنة مع العمى الكامل ، حتى هذه الرؤية المحدودة من وجهة نظر الشخص السليم توسع بشكل كبير من قدرات المرضى. يمكنهم التنقل في الفضاء حتى في ظروف غير مألوفة دون مساعدة خارجية أو أجهزة إضافية ويصبحوا مستقلين تمامًا.
يأمل Sensor-Tech أن تسمح العمليةتسجيل عمليات الزرع في روسيا وإتاحتها في إطار الرعاية الطبية عالية التقنية. لكن ظهرت مشكلة: اعتبرت وزارة الصحة أن عمليتين غير كافيتين للتوصل إلى نتيجة حول سلامة الغرسات. رفض الأمريكيون ، بدورهم ، إجراء مزيد من التجارب ، حيث لم يكن هناك ما يضمن الموافقة على هذه الطريقة في النهاية.
فيما يتعلق بزراعة العين ، انتهت القصة.لكن هذا جيد ، لأنه يستمر في شكل غرسات قشرية ، توضع في الدماغ. هذا هو المكان الذي تتم فيه المعالجة المرئية للمعلومات. يمكن استخدام الرقائق لأي نوع من أنواع العمى ، على عكس العيون. يقول دينيس: "هذا حل عالي التقنية".
بالفعل في عام 2021 ، قدمت الشركة الأولىالتنمية في اتجاه جديد. هذه هي أول عملية زرع عصبي ELVIS للدماغ في روسيا ؛ فهي تساعد على استعادة البصر للمكفوفين والصم المكفوفين. يحتوي الجهاز على غرسة يتم تثبيتها في الدماغ ، وطوق به كاميرتان يتم ارتداؤها على الرأس - يتولون وظيفة العين وجهاز كمبيوتر صغير يقوم بتحليل الصورة ونقلها إلى الدماغ. تتيح هذه التقنية التمييز بين الصور الظلية للأشياء والأشخاص وفهم موقع الأشياء.
أثناء اختبار النظام على القوارض ، ستتبعه الاختبارات على القرود. في عام 2024 ، يخطط 10 متطوعين مكفوفين لتركيب غرسة قشرية.
الغرسات القشرية البصريةالمثبتة في القشرة الدماغية.أنها تحفز المناطق البصرية، مما يؤدي إلى الأحاسيس البصرية. ووفقا للخبراء، فإن هذا سيجعل من الممكن تغيير سطوع الصور وضمان استنساخ الألوان، وهو أمر مستحيل عند استخدام الغرسات الإلكترونية. تم إجراء العمليات الأولى لزراعة الغرسات القشرية في السبعينيات من القرن الماضي. وفي عام 2018، قامت شركة Second Sight الأمريكية بتركيب زراعة عصبية حديثة على أول متطوعين مكفوفين. وتخضع هذه التقنية لتجارب سريرية.
البحث العلمي والأسواق الخارجية
من بين الحالات المختبرية هناك حالات أخرىتطوير. على سبيل المثال ، تم تطوير تطبيق مجاني للهواتف المحمولة مع مشغل للهواتف المحمولة لمساعدة المكفوفين على تحديد فئة الأوراق النقدية. وهي متوفرة على نظامي iOS و Android.
لمعرفة فئة العملة ، ما عليك سوى توجيه كاميرا هاتفك الذكي إليها. ستحدد منظمة العفو الدولية الورقة النقدية وتسميتها. وإذا وجهت الكاميرا إلى عدة فواتير في نفس الوقت ، فسيقوم الجهاز بحساب قيمتها على الفور.
إذا تم استخدام التطبيق من قبل شخص لديهيمكن التعرف على إعاقات الرؤية والسمع ، الذين لا يستطيعون سماع التمثيل الصوتي ، باستخدام الاهتزازات ، يتم التعرف على فئة الفاتورة - لمختلف الفئات ، يتم توفير أوضاعهم الخاصة.
إذا لم يتمكن الهاتف من التعرف على الفاتورة ، يمكنك ذلكالتقط صورة وأضفها إلى قاعدة البيانات من خلال وظيفة "مساعدة للمطورين". عادة ما تنشأ الحاجة إلى ذلك عند إصدار مذكرات تذكارية جديدة أو نادرة.
بالإضافة إلى إنتاج أجهزة Sensor-Techمنخرطون في البحث العلمي في مجال الصمم والعمى. يقول أندري: "نريد أن نجعل الأشخاص الأصحاء يفهمون كيف ينظر أولئك الذين يعانون من ضعف البصر أو السمع إلى العالم بشكل عام".
شاهد هذا المنشور على Instagram
لذلك ، في المختبر ابتكروا أجهزة محاكاة للانتهاكاتعرض: VR simulator شاهد My World ونسخته المحمولة SMW Pro. يتم فرض "التداخل" على الصورة الحية أو على صورة ثابتة. نتيجة لذلك ، يتم تشويه الصورة وفقًا للعيب البصري المحدد. على سبيل المثال ، يصبح غير واضح أو تظهر نقطة سوداء في وسط الصورة.
"نحن نحاكي أعراض الشخص المصابإعاقات بصرية مختلفة. حرفياً: كيف تنظر من خلال عيون الشخص المصاب بإعتام عدسة العين ، قصر النظر ، اللابؤرية ، الجلوكوما ، "يقول أندري. أيضًا ، باستخدام جهاز المحاكاة ، يمكنك تتبع ديناميكيات المرض بمرور الوقت. يساعد هذا الأطباء والطلاب على دراسة الصورة السريرية بشكل أفضل ، كما يساعد أقرباء المريض - حرفياً في النظر إلى العالم من خلال عينيه.
"لجعل الصورة دقيقة قدر الإمكان ،لإنشائه ، يتم استخدام الصورة السريرية للمرض. بالإضافة إلى ذلك ، نوضح النتيجة مع المريض ، حتى يتمكن من تأكيد ما إذا كان يرى ذلك ، إذا لم تكن بصره متضررة بشدة بعد ، يشرح أندري.
المطورين الآن يريدون الترويجالأجهزة في الأسواق الأوروبية والأمريكية. ومن المقرر وضع الأجهزة على موقع أمازون ، بالإضافة إلى الوصول إلى الهيئات الحكومية والمؤسسات العامة التي تتعامل مع مشاكل الأشخاص ذوي الإعاقة. دينيس واثق من أن سوق التطورات التطبيقية سينمو فقط. ويرى مدير مختبر Sensor-Tech مهمته في تسهيل الحياة للأشخاص ذوي الإعاقة بفضل التكنولوجيا.
قراءة المزيد:
حل الذكاء الاصطناعي مشكلة بيولوجية ظل العلماء يكافحون لمدة 50 عامًا
ميلي ثانية بدلاً من 30 تريليون سنة لمهمة: قدمت الصين جهاز كمبيوتر كمي جديد
يبحث العلماء عن أشخاص لا يمكن أن يصابوا بـ COVID-19. بناءً على بياناتهم ، سوف يصنعون الدواء