OpenAI lärde sig hur man spelar Minecraft genom att titta på 70 000 timmar med YouTube-videor

Utvecklarna rapporterar att AI:n har lärt sig grundläggande färdigheter som att fälla träd, göra plankor och

göra bord för pyssel.De såg honom också simma, jaga, laga mat och "pelarhoppning". Dessutom, efter att ha bemästrat de grundläggande färdigheterna, lärde sig systemet hur man skapar en diamanthacka. För att träna denna färdighet i spelet behöver mänskliga spelare cirka 20 minuter. och 24 tusen åtgärder.

För AI-träning använde OpenAI-teametöppna videor: cirka 70 tusen timmars inspelningar av spelets gång. För att klara denna volym utvecklade företaget en ny strategi: förträning med en "semi-lärare".

Schema för lärande.Det första steget är sökningen efter video för träning, det andra steget är att träna det neurala IDM-nätverket baserat på videon som innehåller information om musrörelser och tangenttryckningar, det tredje steget är videomarkering med IDM och träning av spelets neurala nätverk. Källa: OpenAI

I det första steget samlade forskarna in data frånvolontärer: de spelade in videospel, såväl som tangenttryckningar och musrörelser. Baserat på dessa data tränade utvecklarna invers dynamikmodellen (IDM) för att bestämma vilka åtgärder spelaren utför baserat enbart på videodata. Därefter har IDM oberoende "visat" och märkt upp inspelningarna av spelet som publicerats på YouTube. AI-spelträning utförs med hjälp av redan markerade IDM-data.

Utvecklarna noterar att beteendemodellenEn klonare ("spelare") tränad på en IDM-taggad onlinevideo utför uppgifter i Minecraft som är nästan omöjliga att slutföra med traditionell förstärkningsinlärning från grunden. Han lär sig att hugga ner träd för att samla stockar, förvandla dessa stockar till plankor och sedan göra ett hantverksbord av plankorna. Denna sekvens tar cirka 50 sekunder eller tusen på varandra följande spelåtgärder för en person som äger Minecraft.

Utvecklarna visade också att ytterligare finjustering genom AI-observation av själva spelprocessen hjälper till att snabbt lära modellen mer komplexa färdigheter.

Forskare noterar att Minecraft är detbara ett exempel på möjliga tillämpningar av den nya tekniken. I allmänhet tillåter förträning AI att använda minimala resurser för att förvärva olika färdigheter baserat på en stor mängd videodata.

Läs mer:

Rymdsonden flög 200 km från Merkurius. Titta vad han såg

Kinesisk tankeläsningshjälm slår larm när en person ser porrinnehåll

Jupiters satellit sågs i ett nytt ljus: vad forskare såg där