OpenAI lærte å spille Minecraft ved å se 70 000 timer med YouTube-videoer

Utviklerne rapporterer at AI har lært grunnleggende ferdigheter som å kutte trær, lage planker og

lage bord for håndverk.De observerte ham også svømme, jakte, lage mat og «søylehopping». Etter å ha mestret de grunnleggende ferdighetene, lærte systemet å lage en diamanthakke. For å trene denne ferdigheten i spillet trenger menneskelige spillere omtrent 20 minutter. og 24 tusen handlinger.

For AI-trening brukte OpenAI-teametåpne videoer: omtrent 70 000 timer med spillopptak. For å takle dette volumet har selskapet utviklet en ny strategi: førskolering med en «semi-lærer».

Opplegg for læring.Det første trinnet er søk etter video for trening, det andre trinnet er trening av IDM-nevrale nettverk basert på videoen som inneholder informasjon om musebevegelser og tastetrykk, tredje trinn er videomarkering ved bruk av IDM og trening av spillets nevrale nettverk. Kilde: OpenAI

I det første trinnet samlet forskerne inn data frafrivillige: de tok opp videospill, samt tastetrykk og musebevegelser. Basert på disse dataene trente utviklerne den inverse dynamikkmodellen (IDM) for å bestemme hvilke handlinger spilleren utfører kun basert på videodata. Etter det "så" og markerte IDM uavhengig av opptakene av spillet publisert på YouTube. AI-trening i spillet utføres ved å bruke allerede merket IDM-data.

Utviklerne bemerker at atferdsmodellenEn kloner ("spiller") som er trent på en IDM-merket nettvideo, utfører oppgaver i Minecraft som er nesten umulige å fullføre med tradisjonell forsterkningslæring fra bunnen av. Han lærer å hogge trær for å samle tømmerstokker, gjøre disse tømmerstokkene om til planker, og deretter lage et håndarbeidsbord av plankene. Denne sekvensen tar omtrent 50 sekunder eller tusen påfølgende spillhandlinger for en person som eier Minecraft.

Utviklerne viste også at ytterligere finjustering gjennom AI-observasjon av selve spillprosessen bidrar til å raskt trene modellen i mer komplekse ferdigheter.

Forskere bemerker at Minecraft er detbare ett eksempel på mulige anvendelser av den nye teknologien. Generelt tillater forhåndstrening AI å bruke minimale ressurser for å tilegne seg ulike ferdigheter basert på en stor mengde videodata.

Les mer:

Romsonden fløy 200 km fra Merkur. Se hva han så

Kinesisk tankeleserhjelm slår alarm når en person ser pornoinnhold

Satellitten til Jupiter ble sett på i et nytt lys: hva forskerne så der