Forskare tränar AI för att styra robotarm baserat på YouTube-video

Forskare från Carnegie Mellon University har skapat ett fjärrkontrollsystem för automatiserade

hand. Allt du behöver göra är att stå framför kameran och utföra nödvändiga åtgärder. AI, baserad på en tvådimensionell bild, genererar en tredimensionell rörelsemodell och bildar en algoritm för en robotarm.

Traditionellt för träning och distansutbildningrobotar styrdes med hjälp av speciella handskar, rörelsesensorer eller kalibrerade system bestående av flera kameror. Den lösning som föreslås i studien kräver ingen sofistikerad utrustning och förenklar processen för fjärrkontroll avsevärt. "Vårt system fungerar med en enda kamera. Eftersom kalibrering inte krävs kan användaren stå var som helst och ändå framgångsrikt kontrollera roboten”, säger Deepak Pathak, en av utvecklarna av systemet.

Människohänder och robothänder skiljer sig markant åtledernas form, storlek och struktur. Rörelsebanorna som spelas in av kameran måste inte bara reproduceras, utan också omvandlas till en sekvens av aktioner av robotens strukturella element. Noterbart använde forskarna bara YouTube-videor för att träna sitt system.

"Vi förstår att klassiska datainsamlingsmodeller kräver betydande kostnader," noterar forskarna. "Samtidigt finns det många videor av mänskliga handrörelser på Internet."

Inledande resultat av studienlovande: även otränade användare kan fjärrstyra roboten. "Personligen är den viktigaste delen av forskningen för mig användningen av ostrukturerad data från Internet för robotik", tillägger Pathak. ”Vårt fjärrkontrollsystem kräver inga handskar eller markörer och gör robotträning mer tillgänglig. Vi hoppas att det kommer att hjälpa till att skapa autonoma mekanismer."

Läs mer

Forskare har hittat de friskaste människorna på jorden: allt handlar om en unik livsstil

Faran med gratis VPN. Varför kan de inte laddas ner och hur skyddar man sig?

Fysiker har återskapat förmågorna hos T-1000 från "Terminator-2" i laboratoriet