דניס קולשוב- מנהל מעבדת סנסור-טק.
אלכסנדר פופוב- מעצב ראשי
אנדריי דמצ'ינסקי- ראש פרויקטים רפואיים בסנסור-טק.
נוירוטכנולוגיות המסירות מגבלות
אדם הולך ברחוב.ביד אחת יש לו מקל לבן, איתו הוא מרגיש את הדרך. בשנייה, יש אובייקט שחור קטן שנראה כמו מצלמת וידאו. האיש מכוון אותו קודם כל לפניו, אחר כך לצדדים. עוברי אורח לא יודעים שברגע זה באפרכסת הוא שומע הנחיות: "מכונית, מרחק - 5 מטר. גבר, מרחק - 3 מטרים."
אדם אחר מגיע ל-MFC."שלום", אומר המפעיל בחיוך, והמילה הזו מופיעה על המסך מול המבקר. האיש מחייך בחזרה ומתחיל להקליד את הבעיה במקלדת, אותה יקרא המפעיל על צג המחשב. מתווך בין כבדי שמיעה לעולם שבחוץ הוא מכשיר קטן הממיר דיבור לטקסט.
שני המכשירים מפותחים ומיוצרים בחברה"סנסור-טק". מנהלו דניס קולשוב החל לשתף פעולה עם ארגוני נכים עוד במכון: הוא עזר בביצוע מחקר. בהדרגה, דניס הבין שהוא רוצה לעבוד בכיוון הזה ולהתפתח עבור אנשים עם מוגבלויות. לכן, כאשר ב-2014 הציעו לו להצטרף למחקר המדעי של הקרן החדשה So-Unification, הוא הסכים מיד.
הוקמה הקרן לתמיכת חירשים-עיוורים "כך-אחדות".באפריל 2014. עוסק בסוציאליזציה של חירשים-עיוורים: פותח מרכזי תמיכה אזוריים, יוצר הזדמנויות לתעסוקה, פנאי ומימוש עצמי יצירתי; מעניק סיוע משפטי, פסיכולוגי וממוקד.
הקרן צברה פרויקטים שונים, ביניהםנוער ומדעי, הקשורים לנושאים של עיוורון חירשים, שבהם לקח חלק דניס. "בשלב מסוים הוחלט שיהיה הרבה יותר יעיל ונכון לפתח את זה במתכונת של מעבדה נפרדת שעוסקת בנושאים אלו בצורה ייעודית", משחזר קולשוב.
הניואנסים של מכשירי חשמל ביתיים
בשנת 2017 הופיעה מעבדת סנסור-טק,אשר נוסדה על ידי קרן האיחוד So-Unification. מיד החלה העבודה על יצירת גאדג'טים ללקויי שמיעה ולעיוורים. לכך הוקצה מענק מהיוזמה המדעית והטכנולוגית במסגרת מפת הדרכים של Neuronet.
התנאי לקבלת המענק היה מימון משותף של הפרויקט: 70% הוקצו על ידי NTI, את שאר הכסף היה צריך למצוא על ידי היזמים עצמם. 30% החסרים סופקו על ידי קרן האיחוד האירופי.
עבודת המעבדה הייתה צריכה להיבנות מאפס:הקימה לשכת תכנון ומפעל פיילוט, שבו הורכבו אבות טיפוס של מכשירים. הבעיה הראשונה איתה מתמודדים המפתחים היא חוסר הניסיון ביצירת מכשירי חשמל ביתיים. הניסיון הקודם שלהם במכשור היה קשור בעיקר לתעשייה הביטחונית.
אב הטיפוס הראשון של מכשיר לעיוורים התבררמסורבל ולא נוח מדי לשימוש. לאחר שקיבלו משוב ממשתמשים, המפתחים שינו אותו ברצינות. היה צורך לגרום למכשיר לעבוד ללא הפרעות, להיות נוח ומובן לשימוש.
כעת פיתחה המעבדה מכשיר לעיוורים ולקויי ראייה - "רובין" ומכשיר לאנשים עם לקויות שמיעה - "צ'רלי".
"שוק המכשירים לאנשים עם מוגבלות אינו גדול במיוחד,כל הייצור הוא בקנה מידה קטן ויקר", אומר דניס. זו הסיבה למחיר הגבוה למדי של המכשירים: "רובין" עולה 150 אלף רובל, "צ'רלי" - 195 אלף רובל. לפיכך, יצרנים מנהלים משא ומתן עם הממשלה לכלול את המצאותיהם ברשימת אמצעי השיקום הטכני - במקרה זה הממשלה תפצה על עלויות הרכישה.
ספר לי מה אתה רואה
כלפי חוץ "רובין" דומה למצלמה ניידת.חיישנים סורקים אובייקטים, והבינה המלאכותית קובעת מה עומד מול המשתמש - מכונית, שולחן, מחשב או אדם אחר. בסך הכל יש יותר מ-50 עצמים בזיכרון המכשיר. אם אתה מעלה תמונות לשם, זה מזהה את האדם ואומר את שמו. כדי להשתמש ב"רובין" בחושך, נבנה בו פנס. במקרה זה, הגאדג'ט לא רק נותן שם לאובייקט, אלא גם מעריך את המרחק אליו.
המהדורה הראשונה של "רובין" לא הצליחה.על מנת שהמכשיר יזהה חפץ היה צורך לכוון את המכשיר, ללחוץ על הכפתור ולהמתין לפחות 2 שניות. אבל התברר שזה לא נוח למשתמשים: מיד לאחר לחיצה על הכפתור, הם החלו להניע את המכשיר מצד לצד. בגלל זה, המידע שהשמיע "רובין" התברר כלא רלוונטי: הוא תיאר חפצים שזיהה לפני שהעבירו אותו.
"ידענו איך לעזור למכשיר ולאןישיר, ולאנשים לא היה ניסיון כזה. בגלל זה, נראה להם שהמכשיר לא עובד טוב", מסביר אלכסנדר. ואז המפתחים החליטו לשנות את עיקרון העבודה. זמן המשוב מהמכשיר הצטמצם לשניה, בעוד ה"רובין" עבד רק בלחיצה על הכפתור. אפשרות זו התבררה כברורה וקלה יותר עבור המשתמשים.
"אין מתחרים ישירים, כלומר מכשירים עם אותן פונקציות, בשוק. אבל יש אנלוגים, למשל, OrCam ", אומר אלכסנדר.
OrCam MyEye ו-OrCam MyReader- מכשירי ראייה מלאכותית ניידים,המיוצרים על ידי החברה הישראלית באותו השם. הם מצלמה אלחוטית קטנה שניתן לחבר למקדש המשקפיים. המכשיר הראשון קורא טקסט מודפס ודיגיטלי, ברקודים של מוצרים, מזהה פרצופים ומדבר את המידע שהתקבל. השני משמש רק לקריאת טקסטים. הגאדג'טים תומכים ב-17 שפות ואינם דורשים חיבור לאינטרנט.
קול הופך לטקסט
"צ'רלי" מיועד לאנשים עם בעיות עםשמיעה. בפיתוחו השתתפו אנשים בעלי ניסיון בהוראה ללקויי שמיעה. לפיכך, היזמים היו ערים לקשיים המתעוררים בתהליך התקשורת ולבקשות שני הצדדים.
המכשיר קולט דיבור ממרחק של 2 מ' ומציג אותו על המסך כטקסט. הגאדג'ט יכול לשמש גם חירשים-עיוורים - לשם כך מחברים צג ברייל ל"צ'רלי". זה מאפשר לך לקרוא מידע עם האצבעות ולהזין תגובה.
ברייל פותח בשנת 1824.זוהי מערכת של נקודות קמורות וחללים ביניהן. כל תו מקודד באמצעות סבכה בגודל 3x2. שילוב הנקודות בתוך כל תא מתאים לאות או סימן פיסוק. אם הטקסט משנה את הכתב, למשל, מלטינית לקירילית, זה מצוין גם בסמל מיוחד.
המפתחים אומרים כי אנלוגים של "צ'רלי" עלהשוק גם לא. תוכנות רבות המתרגמות דיבור לטקסט מיועדות בעיקר לאינטראקציה בין אדם למחשב, ולא עבור שני אנשים לתקשר זה עם זה.
המכונה הראשונה המסוגלת לזיהוי קוליהופיע בשנות ה-50 בין כותלי Bell Labs. המכשיר קבע מספרים מאפס עד תשע. יחד עם זאת, המכונה הבינה את הממציא הרבה יותר טוב: כשהוא דיבר, דיוק השעתוק היה כ-90%. המכשיר זיהה נכון את הדיבור של אנשים אחרים רק ב-70-80% מהמקרים.
עד שנות ה-90, זיהוי דיבור התבסס עלתבניות: גלי קול תורגמו לקבוצה של מספרים, והתוצאה הוצגה כאשר הדיבור תואם לדוגמא. לכן, לפירוש נכון של אותות קוליים, נדרש לחסל רעשי רקע, לדבר לאט וברור.
מזהה הדיבור הראשון שלא דרש הפסקות בין המילים היה NaturallySpeaking של Dragon. הוא הופיע ב-1997 ועדיין בשימוש היום.
למידת מכונה וטכנולוגיות AI באופן משמעותישיפר את מערכת זיהוי הדיבור ואיפשר להתאים את האלגוריתמים לאופן התקשורת האישי של כל אדם. התוצאה הייתה הופעתן של עוזרות קוליות: גוגל אסיסטנט, סירי מאפל, אלקסה מאמזון, "אליס" מ-Yandex. בנוסף, יש אפליקציות מיוחדות, למשל, ListNote, SpeechNotes, לזיהוי דיבור, תרגום קול להודעת טקסט. יישומים מסוימים, כגון Speechlogger, יכולים אפילו לבצע תרגום סימולטני משפה אחת לאחרת.
בעזרת "צ'רלי" יוכלו בני השיח לתקשראחד עם השני מבלי לפנות למתווך. בנוסף, המכשיר יכול לשמש לתקשורת מרחוק, למשל להרצאות באוניברסיטאות או קיום פגישות. מספיק שהמגיש ישים לידו את "צ'רלי", והמאזינים - יתחברו לתוכנית בקישור. הדיבור המפוענח יוצג על מסך הסמארטפון או המחשב בזמן אמת.
לראות את העולם שוב
כמו כן, "סנסור-טק" משתתפת במחקר מדעי הקשור לשימוש בטכנולוגיות נוירו-טכנולוגיות להחזרת הראייה.
הכל התחיל ב-2016 באליפות בינלאומיתכנסים בארה"ב. שם נפגשו נציגי קרן So-Unification עם חברה אמריקאית העוסקת בחזון ביוני. הם הסכימו לערוך ניסוי ברוסיה להשתלת שבבים ביונים בעיוורים.
"ייתכן שהמכשיר לא ישים לכולםמבין העיוורים, מדובר במאגר צר למדי של מחלות, בעיקר רטיניטיס פיגמנטוזה. המוזרות היא שאיתה מתה רק שכבה אחת של תאים, מה שהופך אור לאות חשמלי. שאר התאים נשארים בחיים", מסביר דניס.
רטיניטיס פיגמנטוזה- מחלה תורשתית הקשורה לכרומוזום X. עם פתולוגיה זו, תאי הרשתית שאוספים תמונות ומעבירים אותם לאורך עצב הראייה למוח נהרסים בהדרגה. המחלה מתחילה באובדן ראיית הצד והלילה ובסופו של דבר מובילה לעיוורון מוחלט. אין אמצעי מניעה יעילים נגד רטיניטיס פיגמנטוזה, כמו גם אין שיטות טיפול. השתלת שבבים עדיין בפיתוח, והרופאים גם מציעים שטיפול גנטי וטיפול בתאי גזע עשויים להפוך לפריצת דרך.
כתוצאה מכך, במאגרי המידע של קרנות כך-איחוד ואמנות, מדע וספורט מצא שני אנשים עם האבחנה הנכונה מילא היו פתולוגיות נלוות. בשנת 2017, השתלים הותקנו בגריגורי אוליאנוב ואנטונינה זקרצ'נקו. הכספים למבצע הוקצו על ידי קרן אלישר אוסמנוב.
קרן אלישר אוסמנוב "אמנות, מדע וספורט"נוסדה בשנת 2006. מממן פרויקטים חינוכיים ומדעיים (משתף פעולה עם MGIMO, MISiS), תומך במוזיאונים ובתיאטראות (Sovremennik, גלריית טרטיאקוב, האנסמבל של איגור מויסייב ואחרים). הקרן גם מקדמת אורח חיים בריא ומארגנת תחרויות, לרבות לאנשים עם מוגבלויות.
במהלך הניתוח מניחים את הרשתית של המטופלהשתלה עם אלקטרודות. זה קשור למשקפיים מיוחדים עם מצלמה מובנית. מידע מהמצלמה מועבר למיקרו מחשב, שמעבד את התמונה ושולח אותות לשתל. דחפים חשמליים מועברים לאורך עצב הראייה אל המוח, שם נוצרת תמונה.
לשתל יש 60 אלקטרודות, שניתן להשוות איתןתמונה של 60 פיקסלים - לפי מספר הנקודות שהשתל מגורה. בעזרתו, אתה יכול לקבל תמונה של רק חפצים גדולים מספיק - חלונות, דלתות, שולחנות, מכוניות. עצמים קטנים יותר עלולים ליפול מה"מטריקס" שיצרו האלקטרודות, או שהנתונים אינם מספיקים כדי לזהות אותם.
מאחר ולמטופל אין התאים האחראים עליהםעיבוד צבע, התמונה היא שחור ולבן. אבל בהשוואה לעיוורון מוחלט, אפילו ראייה מוגבלת כזו מנקודת מבטו של אדם בריא מרחיבה משמעותית את יכולות החולים. הם יכולים לנווט בחלל גם בתנאים לא מוכרים ללא עזרה מבחוץ או מכשירים נוספים ולהיות עצמאיים למדי.
סנסור-טק קיוותה שהמבצע יאפשרלרשום שתלים ברוסיה ולהפוך אותם לזמינים במסגרת טיפול רפואי הייטק. אבל נוצרה בעיה: במשרד הבריאות סברו שלא די בשתי ניתוחים כדי להסיק מסקנה לגבי בטיחות השתלים. האמריקנים, בתורם, סירבו לערוך ניסויים נוספים, מכיוון שלא הייתה ערובה שבסופו של דבר שיטה זו תאושר.
"מבחינת השתלות עיניים, הסיפור נגמר.אבל זה אפילו טוב, כי יש לו המשך בצורה של שתלים בקליפת המוח, שממוקמים במוח. שם מתרחש העיבוד החזותי של המידע. ניתן להשתמש בצ'יפס לכל סוג של עיוורון, בניגוד לעיוורון. זהו פתרון הייטק יותר", אומר דניס.
כבר בשנת 2021 הציגה החברה את הראשוןהתפתחות בכיוון חדש. זהו השתל העצבי הראשון של ELVIS למוח ברוסיה; הוא עוזר להחזיר את הראייה לאנשים עיוורים וחרשים-עיוורים. למכשיר יש שתל שמותקן במוח, חישוק עם שתי מצלמות לענידה על הראש - הן משתלטות על תפקוד העיניים ומיקרו מחשב שמנתח את התמונה ומעביר אותה למוח. הטכנולוגיה מאפשרת להבחין בצלליות של חפצים, אנשים ולהבין את מיקומם של עצמים.
בזמן שהמערכת נבדקת על מכרסמים, בדיקות על קופים יגיעו בהמשך. בשנת 2024, 10 מתנדבים עיוורים מתכננים להתקין שתל קורטיקלי.
שתלים חזותיים קורטיקלייםמותקן בקליפת המוח.הם מגרים את אזורי הראייה, וכתוצאה מכך תחושות חזותיות. לדברי מומחים, הדבר יאפשר לשנות את בהירות התמונות ולהבטיח עיבוד צבע, דבר בלתי אפשרי בעת שימוש בשתלים ביונים. הניתוחים הראשונים להשתלת שתלי קליפת המוח בוצעו עוד בשנות ה-70 של המאה הקודמת. ובשנת 2018, החברה האמריקאית Second Sight התקינה בפומבי השתלות עצבים מודרניות על המתנדבים העיוורים הראשונים. הטכנולוגיה עוברת ניסויים קליניים.
מחקר מדעי ושווקים בחו"ל
בין מקרי המעבדה ישנם אחריםהתפתחות. לדוגמה, אפליקציה חינמית לטלפונים ניידים פותחה יחד עם מפעיל סלולרי כדי לעזור לעיוורים לקבוע את ערך השטרות. זה זמין ב-iOS וב-Android.
כדי לגלות את ערך השטר, פשוט כוון אליו את מצלמת הטלפון החכם שלך. ה-AI יזהה את השטר ויקרא לו. ואם תפנו את המצלמה לכמה שטרות במקביל, המכשיר יחשב מיד את הסכום שלהם.
אם האפליקציה משמשת אדם עםלקויות ראייה ושמיעה, שאינם יכולים לשמוע את הקול הפועל, ניתן לזהות את ערך השטר באמצעות רטט - עבור עדות שונות, ניתנים מצבים משלהם.
אם הטלפון לא יכול לזהות את החשבון, אתה יכולצלם תמונה והוסף אותה למסד הנתונים באמצעות הפונקציה "עזרה למפתחים". בדרך כלל הצורך בכך מתעורר בעת הנפקת שטרות הנצחה חדשים או נדירים.
בנוסף לייצור מכשירים, סנסור-טקעוסקים במחקר מדעי בתחום חרשים-עיוורון. "אנחנו רוצים לגרום לאנשים בריאים להבין כיצד אלו הסובלים מפגיעה בראייה או בשמיעה תופסים את העולם באופן כללי", אומר אנדריי.
צפו בפוסט הזה באינסטגרם
אז, במעבדה הם יצרו סימולטורים של הפרותתצוגה: סימולטור VR See My World והגרסה הניידת שלו SMW Pro. "הפרעה" מונחת על התמונה החיה או על תמונה סטטית. כתוצאה מכך, התמונה מעוותת בהתאם לפגם החזותי הספציפי. לדוגמה, הוא הופך מטושטש או שמופיע כתם שחור במרכז התמונה.
"אנחנו מדמים את הסימפטומים של איך אדם עםליקויי ראייה שונים. פשוטו כמשמעו: איך להסתכל דרך העיניים של אדם שיש לו קטרקט, קוצר ראייה, אסטיגמציה, גלאוקומה, "אומר אנדריי. כמו כן, באמצעות הסימולטור, ניתן לעקוב אחר הדינמיקה של המחלה לאורך זמן. זה עוזר לרופאים ולסטודנטים ללמוד טוב יותר את התמונה הקלינית, ואת קרוביו הקרובים של המטופל - ממש להסתכל על העולם דרך עיניו.
"כדי להפוך את התמונה מדויקת ככל האפשר,כדי ליצור אותו, נעשה שימוש בתמונה הקלינית של המחלה. בנוסף, אנו מבהירים את התוצאה עם המטופל, כדי שיוכל לאשר אם הוא רואה זאת, אם הראייה שלו עדיין לא נפגעה מאוד", מסביר אנדריי.
עכשיו מפתחים רוצים לקדם את שלהםמכשירים בשווקים באירופה ובארה"ב. מתוכנן להעלות את הגאדג'טים לאמזון ובנוסף להגיע לגופים ממשלתיים וארגונים ציבוריים העוסקים בבעיות של אנשים עם מוגבלות. דניס בטוח שהשוק לפיתוחים יישומיים רק יגדל. ומנהל מעבדת סנסור-טק רואה את ייעודו בהקלת החיים של אנשים עם מוגבלויות הודות לטכנולוגיה.
קרא עוד:
בינה מלאכותית פתרה בעיה ביולוגית שמדענים נאבקים בה כבר 50 שנה
אלפית שנייה במקום 30 טריליון שנה למשימה: סין הציגה מחשב קוונטי חדש
מדענים מחפשים אנשים שלא יכולים להידבק ב-COVID-19. על סמך הנתונים שלהם, הם יכינו תרופה