At arbejde på et reelt problem gjorde det muligt for studerende at få praktisk erfaring under deres studier, og
Hvorfor vi besluttede at tage denne udfordring op
I gennemsnit amputeres lemmer hvert år i verden.1 million mennesker – og det tæller ikke dem med, der allerede er født uden arme eller ben. Ikke alle har adgang til gode proteser, men selv med de mest avancerede af dem er det svært at opnå fuldstændig naturlighed af bevægelse.
Hvordan virker bioniske proteser, og hvordan kan kunstig intelligens hjælpe?
Det grundlæggende princip for drift af de fleste proteser erdette er en aflæsning af musklernes elektromyografiske potentiale, eller mere enkelt deres spændinger. I ærmet, hvor stumpen er indsat (den del af lemmen, der er tilbage efter amputation, eller på grund af dens underudvikling (aplasi) - red.), er der installeret to sensorer, den ene er ansvarlig for at åbne hånden, den anden for at lukke. Brugeren spænder musklen og gestussen udløses.
Bioniske proteser er opdelt i to typer:enkelt greb - kan komprimere / frigøre børsten. Mere komplekse multi-greb, ud over denne grundlæggende gestus, udføre "unikke" programmerbare bevægelser, fordi hver finger kan bevæge sig separat. Så for eksempel virker Manifesto bioniske protese, som designmæssigt ikke er ringere end de nyeste Boston Dynamics-modeller.
Gesten er programmeret på 3D-modellen af "træk og slip" af håndens fingre (som om du roterede en videospilfigur i menuen). Gem og skift med et enkelt klik.
For eksempel:
Козу 🤟🏻 или Сердечко ❤️
Problemet er dog stadig:for at udføre en gestus, skal du først programmere den, hvis den ikke er i hurtig adgang, derefter skifte gestus (kan gøres gennem applikationen i smartphonen eller længe holde spændingen på sensoren) og til sidst åbne eller lukke gestus ved at spænde musklen.
То есть, помимо самого жеста, приходится выполнять довольно много дополнительных действий.
Manifest Bionic Prosthesis - AI læringsplatform
Поэтому, чтобы делать жесты без подготовки и сразу распознавать их как можно точнее, исследователи решили обратиться к искусственному интеллекту, а точнее — к ИИ-моделям, которые обучаются под каждого пользователя на его персональных данных.
For mere effektiv drift af det neurale netværk har du brug forhar flere input. "Motorika" har udviklet optomyografiske sensorer, som i modsætning til standard elektromyografiske sensorer skelner ikke kun i muskler, men også i sener, led, blodgennemstrømning og hud. En bred vifte af data forbedrer nøjagtigheden, glatheden og gør det muligt at bruge protesen til personer med lidt eller slet intet muskelsignal. AI lærer, hvilke ændringer i indikatorer, der er forbundet med en bestemt gestus, og gengiver den ved at bevæge mikromotorerne på de ønskede fingre. En sådan teknologisk forbindelse giver allerede nu proteser mulighed for at udføre bestemte gestus.
Студенты, принимавшие участие в хакатоне, должны были усовершенствовать прототип ИИ-модели для системы управления протеза руки.
Hvordan så hackathon-processen ud?
Участвовать в хакатоне могли все студенты и выпускники курса Data Science, которые отправили онлайн-заявку и обладали нужными навыками: это операции над массивами данных, навыки анализа данных, разведывательного анализа, построения моделей классификации и другие.
I alt blev der udvalgt 44 deltagere, som blev besejretfor 8 hold af 3-6 personer: så hver af dem svarer til de andre med hensyn til erfaring og færdigheder hos medlemmerne. Teammedlemmer selvstændigt tildelt roller indenfor: teamleder, udvikler eller projektleder.
Moskva-studerende havde mulighed for at kommetil "Motoriki"-laboratoriet i Skolkovo for selvstændigt at deltage i processen med at indsamle data fra en rigtig protese. Det så sådan ud: optomyografiske sensorer blev installeret på deltagerens hånd, hvis controller var forbundet med protesen. Derefter lavede protesen en række bevægelser: åben håndflade ✋, fuldt greb ✊, "pistol"-bevægelse ????, "OK"-bevægelse ???? og andre (der var 15 i alt), og brugeren gengav dem. Aflæsningerne af sensorerne og den gestus, som brugeren udførte på det tidspunkt, blev registreret for hver tidsperiode. De blev derefter digitaliseret til datasæt, som eleverne brugte til at løse problemet.
Opgaven var at bruge Data Science metoder til at bygge modeller, der baseret på sensoraflæsninger ville bestemme de bevægelser, som brugeren udfører.
Работа велась в формате трехэтапного хакатона: от простой задачи к сложной для плавного погружения в предметную область. Мы решили, что сперва дадим студентам общую картину, а потом постепенно будем усложнять постановку задачи. Третья уже была максимально приближена к «боевой».
После каждого этапа команды показывали свои решения, из которых мы отмечали лучшие. В процессе хакатона участники могли обращаться к нам — менторам — за консультациями. Мы также отвечали за разработку задач и критериев для оценки результатов. По окончании каждого этапа студенты получали от нас фидбэк, насколько их решение было актуальным и эффективным, а также комментарии относительно структуры кода и технических ошибок, связанных с машинным обучением.
Три этапа хакатона
В начале работы студенты получили данные и базовую модель как некий ориентир. Идея хакатона заключалась в том, чтобы команды улучшили результат базовой модели или приблизились к нему. Так мы хотели проверить, можно ли вообще улучшить нашу базовую модель.
На первом этапе командам нужно было классифицировать жесты по участку данных, то есть определить, из какого жеста в какой произошел переход.
For eksempel blev der lavet en overgang fra neutralposition (åben håndflade) til en af gestus og omvendt - fra gestus til neutral position. Det var nødvendigt at træne modellen til at genkende, hvilken gestus der blev udført: bøj/løs hver finger, "OK" ???????? og "pistol" ???????? og så videre.
Datasætfragment til den første opgave
На втором этапе требовалось классифицировать жест и определять его начало и окончание во времени. В итоге должна была получиться модель, которая распознает, как, в какой последовательности и с каким временным интервалом рука переходит от одного жеста к другому.
Фрагмент датасета для второй задачи
Если в первой задаче во всем исследуемом временном промежутке случился жест, то во второй задаче мы хотели, чтобы участники в каждый момент времени определили, какой выполнялся жест. Например, большой палец сгибался в течение определенного временного отрезка, а потом произошел переход к жесту открытой ладони.
На третьем этапе было необходимо сегментировать непрерывную запись на отдельные жесты с определением их начала и окончания во времени.
Задача качественно усложнилась. Теперь участники работали не с подготовленными наборами данных, а непрерывными сырыми данными. Требовалось самостоятельно разработать систему работы с ними: как их извлечь и как нарезать, чтобы потом обучать модели.
Datasætfragment til den tredje opgave
В первой и второй задачах мы брали один участок времени, то есть переход из одного жеста в другой, не больше. Но в реальности наша рука постоянно меняет свое положение, это происходит непрерывно, а не только в определенный промежуток времени. Мы переходим из одного жеста в другой, потом из этого жеста в третий, и так далее. И третья задача состояла в том, чтобы зафиксировать момент каждого перехода из одного жеста в другой и понять, в какой жест произошел переход, при этом жестов могло быть сколько угодно много.
Какие были результаты
Мы проводили хакатон с помощью платформы Kaggle. Решение проверялось алгоритмом, который оценивал качество построенной модели и ранжировал модели по степени точности, определяя результаты команд.
Resultaterne blev vurderet efter standarden formaskinlæring for F1-score-metrikken: det vil sige ved at kombinere fuldstændigheden og nøjagtigheden af de opnåede data, for den anden og tredje opgave, blev metrikken beregnet for hvert tidspunkt.
Идеальным считалось решение, качество которого по метрике F1-score было максимально приближено к 1. У большинства участников по первым двум задачам метрика была близка к 1, они строили достаточно результативные модели, однако фактический потолок в рамках третьей задачи составлял всего 0,7.
При оценке работ мы учитывали и то, какой подход применяли студенты: насколько он отличался от базового алгоритма «Моторики», были ли найдены какие-то интересные закономерности, было ли решение универсальным с точки зрения потребляемых ресурсов, куда относятся используемая для решения оперативная память и скорость вычислительной мощности. Можно построить такую тяжеловесную модель, которая будет предсказывать идеально, но будет делать это в течение нескольких минут. Для человека с ампутированной рукой, носящего протез, ждать несколько минут, пока у него один палец начнет двигаться, совсем не оптимально. Система должна работать буквально в режиме реального времени с задержкой не более 100 мс.
По итогам хакатона практически все команды приблизили свой результат к базовой модели разработчиков и предложили некоторые интересные подходы. Модели, построенные участниками на первом и втором этапах, были результативными и хорошо работали в заданных условиях, помогли погрузиться в предметную область. В дальнейшем их будут тестировать в реальной ситуации. В третьей задаче участники предложили обновленные подходы к обработке данных перед тем, как отправлять их в модель, но эти гипотезы также нужно проанализировать и проверить. Если испытания пройдут успешно, полученные результаты могут быть использованы в дальнейшей работе.
Hvilke konklusioner trak vi
Hackathon er et godt eksempel på hvordanonlineskolen bevæger sig fra EdTech-formatet til ExperienceTech, hvor teoretisk viden nødvendigvis suppleres med praktiske opgaver fra markedsaktører. Virksomheden har været i stand til at uddelegere sine reelle opgaver til studerende og få nogle nye interessante tilgange, der kan inkluderes i udgivelsesversionen. Virksomheden modtager også potentielle kandidater, som fordyber sig i branchens udfordringer, mens de lærer.
Студенты отметили, что постепенное усложнение задач упростило переход от теоретической модели к реальной. Это позволило лучше погрузиться в проблему даже тем, у кого мало опыта в написании кода. Тем, кто раньше имел дело только с классическими моделями машинного обучения, было особенно интересно познакомиться с современными наработками в области глубокого обучения.
По окончании первого этапа мы увидели, что многим участникам не хватает навыков презентации результатов. Поэтому ввели дополнительный критерий оценки работ (культура кода), который включал в себя оформление кода по стандартам, документирование, следование правилам визуализации и текстовое сопровождение хода решения.
På grund af ydre omstændigheder, tidspunktet for hackathonsteg fra en til to måneder, og nogle deltageres motivation faldt, mens andre forlod projektet helt. I fremtiden vil vi forsøge at optimere tidspunktet for hackathonet og beregne dets varighed mere omhyggeligt for at opretholde et højt niveau af involvering og være mere opmærksom på motivationen hos deltageren på hvert trin.
Læs mere:
Forskere fra permafrostzonen: hvordan de udvikler smart tøj og en kræftvaccine
Forskere "snydede" tiden og sendte en foton ind i fortiden: hvordan dette gennembrud vil ændre fysikken
10 videnskabelige fakta, der viste sig at være falske. Kort