OpenAI lærte at spille Minecraft ved at se 70.000 timers YouTube-videoer

Udviklerne rapporterer, at AI har lært grundlæggende færdigheder såsom at fælde træer, lave planker og

lave borde til håndværk.De observerede ham også svømme, jage, lave mad og "søjlespring". Desuden, efter at have mestret de grundlæggende færdigheder, lærte systemet at skabe en diamanthakke. For at øve denne færdighed i spillet har menneskelige spillere brug for omkring 20 minutter. og 24 tusinde handlinger.

Til AI-træning brugte OpenAI-teametåbne videoer: omkring 70.000 timers gameplay-optagelser. For at klare dette volumen udviklede virksomheden en ny strategi: fortræning med en "semi-lærer".

Indlæringsplan.Første fase er søgningen efter video til træning, anden fase er træning af det neurale IDM-netværk baseret på videoen, der indeholder information om musebevægelser og tastetryk, tredje fase er videomarkering ved hjælp af IDM og træning af spillets neurale netværk. Kilde: OpenAI

I første trin indsamlede forskerne data frafrivillige: de optog videospil, såvel som tastetryk og musebevægelser. Baseret på disse data trænede udviklerne den inverse dynamikmodel (IDM) til at bestemme, hvilke handlinger afspilleren udfører kun baseret på videodata. Derefter har IDM selvstændigt "set" og markeret optagelserne af spillet offentliggjort på YouTube. AI-spiltræning udføres ved hjælp af allerede markerede IDM-data.

Udviklerne bemærker, at adfærdsmodellenEn kloner ("spiller") trænet på en IDM-mærket onlinevideo udfører opgaver i Minecraft, som er næsten umulige at fuldføre med traditionel forstærkningslæring fra bunden. Han lærer at fælde træer for at samle træstammer, lave disse træstammer om til planker og derefter lave et håndværksbord af plankerne. Denne sekvens tager omkring 50 sekunder eller tusind på hinanden følgende spilhandlinger for en person, der ejer Minecraft.

Udviklerne viste også, at yderligere finjustering gennem AI-observation af den faktiske spilproces hjælper med hurtigt at lære modellen mere komplekse færdigheder.

Forskere bemærker, at Minecraft erblot et eksempel på en mulig anvendelse af den nye teknologi. Generelt tillader fortræning AI at bruge minimale ressourcer til at erhverve forskellige færdigheder baseret på en stor mængde videodata.

Læs mere:

Rumsonden fløj 200 km fra Merkur. Se hvad han så

Kinesisk tankelæserhjelm slår alarm, når en person ser pornoindhold

Jupiters satellit blev set i et nyt lys: hvad forskerne så der