실제 문제를 해결함으로써 학생들은 공부하는 동안 실질적인 경험을 쌓을 수 있었고,
우리가 이 도전을 하기로 결정한 이유
평균적으로 팔다리는 전 세계에서 매년 절단됩니다.100만 명 - 이미 팔이나 다리 없이 태어난 사람들은 포함하지 않습니다. 모든 사람이 좋은 보철물에 접근할 수 있는 것은 아니지만 가장 진보된 보철물을 사용하더라도 움직임의 완전한 자연스러움을 달성하기는 어렵습니다.
생체 공학 보철물은 어떻게 작동하며 인공 지능은 어떻게 도움이 됩니까?
대부분의 보철물 작동의 기본 원리는 다음과 같습니다.이것은 근육의 근전도 전위 또는 더 간단하게는 긴장도를 판독한 것입니다. 그루터기가 삽입 된 슬리브 (절단 후 남은 팔다리 부분 또는 저개발 (무형성)로 인해-ed.) 두 개의 센서가 설치되어 하나는 손을 여는 역할을하고 다른 하나는 닫는 역할을합니다. 사용자가 근육을 긴장시키고 제스처가 트리거됩니다.
생체 공학 보철물은 두 가지 유형으로 나뉩니다.단일 그립 - 브러시를 압축/해제할 수 있습니다. 이 기본 제스처 외에도 더 복잡한 멀티 그립은 각 손가락이 개별적으로 움직일 수 있기 때문에 "독특한" 프로그래밍 가능한 움직임을 수행합니다. 예를 들어, 디자인 측면에서 최신 Boston Dynamics 모델보다 열등하지 않은 Manifesto 생체 공학 보철물이 작동합니다.
제스처는 손 손가락의 "끌어다 놓기" 3D 모델에 프로그래밍됩니다(마치 메뉴에서 비디오 게임 캐릭터를 회전시키는 것처럼). 한 번의 클릭으로 저장하고 전환하십시오.
예 :
Козу 🤟🏻 или Сердечко ❤️
그러나 문제는 남아 있습니다.제스처를 수행하려면 빠른 액세스가 아닌 경우 먼저 프로그래밍한 다음 제스처를 전환해야 합니다(스마트폰의 애플리케이션을 통해 수행하거나 센서의 전압을 길게 유지할 수 있음). 근육.
То есть, помимо самого жеста, приходится выполнять довольно много дополнительных действий.
Manifesto Bionic Prosthesis - AI 학습 플랫폼
Поэтому, чтобы делать жесты без подготовки и сразу распознавать их как можно точнее, исследователи решили обратиться к искусственному интеллекту, а точнее — к ИИ-моделям, которые обучаются под каждого пользователя на его персональных данных.
신경망을 보다 효율적으로 운영하려면 다음이 필요합니다.더 많은 입력이 있습니다. "Motorika"는 표준 근전도 센서와 달리 근육뿐만 아니라 힘줄, 관절, 혈류 및 피부의 변화를 구별하는 검안 센서를 개발했습니다. 광범위한 데이터는 정확성과 부드러움을 개선하고 근육 신호가 거의 또는 전혀 없는 사람들을 위해 보철물을 사용할 수 있게 합니다. AI는 특정 제스처와 관련된 지표의 변화를 학습하고 원하는 손가락의 마이크로 모터를 움직여 재현합니다. 이러한 기술적 연결은 이미 보철물이 특정 제스처를 수행할 수 있도록 합니다.
Студенты, принимавшие участие в хакатоне, должны были усовершенствовать прототип ИИ-модели для системы управления протеза руки.
해커톤 과정은 어땠나요?
Участвовать в хакатоне могли все студенты и выпускники курса Data Science, которые отправили онлайн-заявку и обладали нужными навыками: это операции над массивами данных, навыки анализа данных, разведывательного анализа, построения моделей классификации и другие.
총 44명이 선발되었으나 탈락3-6명으로 구성된 8개 팀: 구성원의 경험과 기술 측면에서 각 팀이 다른 팀과 동일합니다. 팀 구성원은 팀 리더, 개발자 또는 프로젝트 관리자 내에서 독립적으로 역할을 할당했습니다.
모스크바 학생들은 올 기회를 가졌습니다실제 보철물에서 데이터를 수집하는 과정에 독립적으로 참여하기 위해 Skolkovo의 "Motoriki" 실험실로 이동합니다. 그것은 다음과 같이 생겼습니다. 참가자의 손에 검안 센서가 설치되어 컨트롤러가 보철물에 연결되었습니다. 그런 다음 보철물은 손바닥 ✋, 풀 그립 ✊, "총" 제스처 ????, "OK" 제스처 ???? 및 기타(총 15개)의 일련의 제스처를 취했고 사용자는 이를 재현했습니다. 센서의 판독 값과 사용자가 그 순간 수행한 제스처를 각 기간 동안 기록했습니다. 그런 다음 학생들이 문제를 해결하는 데 사용한 데이터 세트로 디지털화되었습니다.
작업은 데이터 과학 방법을 사용하여 센서 판독값을 기반으로 사용자가 수행하는 제스처를 결정하는 모델을 구축하는 것이었습니다.
Работа велась в формате трехэтапного хакатона: от простой задачи к сложной для плавного погружения в предметную область. Мы решили, что сперва дадим студентам общую картину, а потом постепенно будем усложнять постановку задачи. Третья уже была максимально приближена к «боевой».
После каждого этапа команды показывали свои решения, из которых мы отмечали лучшие. В процессе хакатона участники могли обращаться к нам — менторам — за консультациями. Мы также отвечали за разработку задач и критериев для оценки результатов. По окончании каждого этапа студенты получали от нас фидбэк, насколько их решение было актуальным и эффективным, а также комментарии относительно структуры кода и технических ошибок, связанных с машинным обучением.
Три этапа хакатона
В начале работы студенты получили данные и базовую модель как некий ориентир. Идея хакатона заключалась в том, чтобы команды улучшили результат базовой модели или приблизились к нему. Так мы хотели проверить, можно ли вообще улучшить нашу базовую модель.
На первом этапе командам нужно было классифицировать жесты по участку данных, то есть определить, из какого жеста в какой произошел переход.
예를 들어 중립에서 전환이 이루어졌습니다.자세(열린 손바닥)를 제스처 중 하나로 또는 그 반대로 - 제스처에서 중립 위치로. 각 손가락을 구부리거나 구부리거나 "OK" ???????? 및 "총" ???????? 등 어떤 제스처가 수행되었는지 인식하도록 모델을 훈련해야 했습니다.
첫 번째 작업을 위한 데이터 세트 조각
На втором этапе требовалось классифицировать жест и определять его начало и окончание во времени. В итоге должна была получиться модель, которая распознает, как, в какой последовательности и с каким временным интервалом рука переходит от одного жеста к другому.
Фрагмент датасета для второй задачи
Если в первой задаче во всем исследуемом временном промежутке случился жест, то во второй задаче мы хотели, чтобы участники в каждый момент времени определили, какой выполнялся жест. Например, большой палец сгибался в течение определенного временного отрезка, а потом произошел переход к жесту открытой ладони.
На третьем этапе было необходимо сегментировать непрерывную запись на отдельные жесты с определением их начала и окончания во времени.
Задача качественно усложнилась. Теперь участники работали не с подготовленными наборами данных, а непрерывными сырыми данными. Требовалось самостоятельно разработать систему работы с ними: как их извлечь и как нарезать, чтобы потом обучать модели.
세 번째 작업을 위한 데이터 세트 조각
В первой и второй задачах мы брали один участок времени, то есть переход из одного жеста в другой, не больше. Но в реальности наша рука постоянно меняет свое положение, это происходит непрерывно, а не только в определенный промежуток времени. Мы переходим из одного жеста в другой, потом из этого жеста в третий, и так далее. И третья задача состояла в том, чтобы зафиксировать момент каждого перехода из одного жеста в другой и понять, в какой жест произошел переход, при этом жестов могло быть сколько угодно много.
Какие были результаты
Мы проводили хакатон с помощью платформы Kaggle. Решение проверялось алгоритмом, который оценивал качество построенной модели и ранжировал модели по степени точности, определяя результаты команд.
결과는 에 대한 표준에 따라 평가되었습니다.F1 점수 지표에 대한 기계 학습: 즉, 두 번째 및 세 번째 작업에 대해 얻은 데이터의 완전성과 정확성을 결합하여 각 시점에 대한 지표를 계산했습니다.
Идеальным считалось решение, качество которого по метрике F1-score было максимально приближено к 1. У большинства участников по первым двум задачам метрика была близка к 1, они строили достаточно результативные модели, однако фактический потолок в рамках третьей задачи составлял всего 0,7.
При оценке работ мы учитывали и то, какой подход применяли студенты: насколько он отличался от базового алгоритма «Моторики», были ли найдены какие-то интересные закономерности, было ли решение универсальным с точки зрения потребляемых ресурсов, куда относятся используемая для решения оперативная память и скорость вычислительной мощности. Можно построить такую тяжеловесную модель, которая будет предсказывать идеально, но будет делать это в течение нескольких минут. Для человека с ампутированной рукой, носящего протез, ждать несколько минут, пока у него один палец начнет двигаться, совсем не оптимально. Система должна работать буквально в режиме реального времени с задержкой не более 100 мс.
По итогам хакатона практически все команды приблизили свой результат к базовой модели разработчиков и предложили некоторые интересные подходы. Модели, построенные участниками на первом и втором этапах, были результативными и хорошо работали в заданных условиях, помогли погрузиться в предметную область. В дальнейшем их будут тестировать в реальной ситуации. В третьей задаче участники предложили обновленные подходы к обработке данных перед тем, как отправлять их в модель, но эти гипотезы также нужно проанализировать и проверить. Если испытания пройдут успешно, полученные результаты могут быть использованы в дальнейшей работе.
우리는 어떤 결론을 내렸나요?
Хакатон — это отличный пример того, как онлайн-школа движется от формата EdTech к ExperienceTech, когда теоретические знания обязательно дополняются практическими задачами от игроков рынка. Бизнес смог делегировать свои реальные задачи студентам и получить несколько новых интересных подходов, которые могут войти в релизную версию. Бизнес также получает потенциальных кандидатов, которые в процессе обучения погружаются в задачи индустрии.
Студенты отметили, что постепенное усложнение задач упростило переход от теоретической модели к реальной. Это позволило лучше погрузиться в проблему даже тем, у кого мало опыта в написании кода. Тем, кто раньше имел дело только с классическими моделями машинного обучения, было особенно интересно познакомиться с современными наработками в области глубокого обучения.
По окончании первого этапа мы увидели, что многим участникам не хватает навыков презентации результатов. Поэтому ввели дополнительный критерий оценки работ (культура кода), который включал в себя оформление кода по стандартам, документирование, следование правилам визуализации и текстовое сопровождение хода решения.
Из-за внешних обстоятельств время хакатона увеличилось с одного до двух месяцев, и мотивация некоторых участников снизилась, а другие вовсе вышли из проекта. В будущем мы постараемся оптимизировать время хакатона и рассчитывать его длительность более внимательно, чтобы сохранить высокий уровень вовлеченности и уделить больше внимания мотивации участника на каждом этапе.
더 읽어보기 :
영구 동토층의 과학자들: 그들이 스마트 의류와 암 백신을 개발하는 방법
과학자들은 시간을 "속이고" 광자를 과거로 보냈습니다. 이 획기적인 발전이 물리학을 어떻게 바꿀 것인가
가짜로 판명된 10가지 과학적 사실 카드