OpenAI a învățat cum să joace Minecraft vizionând 70.000 de ore de videoclipuri YouTube

Dezvoltatorii raportează că AI a învățat abilități de bază, cum ar fi tăierea copacilor, realizarea de scânduri și

realizarea de mese pentru meșteșug.De asemenea, l-au observat înotând, vânând, gătind și „sărind stâlpi”. În plus, după ce a stăpânit abilitățile de bază, sistemul a învățat cum să creeze un târnăcop de diamant. Pentru a exersa această abilitate în joc, jucătorii umani au nevoie de aproximativ 20 de minute. și 24 de mii de acțiuni.

Pentru instruirea AI, echipa OpenAI a folositvideoclipuri deschise: aproximativ 70.000 de ore de filmări ale jocului. Pentru a face față acestui volum, compania a dezvoltat o nouă strategie: pre-training cu un „semiprofesor”.

Schema de învățare.Prima etapă este căutarea videoclipurilor pentru antrenament, a doua etapă este antrenarea rețelei neuronale IDM pe baza videoclipului care conține informații despre mișcările mouse-ului și apăsările de la taste, a treia etapă este marcarea video folosind IDM și antrenarea rețelei neuronale a jocului. Sursa: OpenAI

În primul pas, cercetătorii au colectat date de lavoluntari: au înregistrat jocuri video, precum și apăsări de taste și mișcări ale mouse-ului. Pe baza acestor date, dezvoltatorii au antrenat modelul de dinamică inversă (IDM) pentru a determina ce acțiuni efectuează jucătorul pe baza datelor video. După aceea, IDM a „vizionat” și a marcat în mod independent înregistrările jocului publicat pe YouTube. Antrenamentul AI în joc se efectuează folosind date IDM deja marcate.

Dezvoltatorii notează că modelul comportamentalUn cloner („jucător”) instruit pe un videoclip online etichetat IDM îndeplinește sarcini în Minecraft care sunt aproape imposibil de finalizat cu învățarea tradițională de întărire de la zero. El învață să taie copaci pentru a colecta bușteni, să transforme acei bușteni în scânduri și apoi să facă o masă de lucru din scânduri. Această secvență durează aproximativ 50 de secunde sau o mie de acțiuni consecutive de joc pentru o persoană care deține Minecraft.

Dezvoltatorii au arătat, de asemenea, că reglarea fină suplimentară prin observarea AI a procesului real de joc ajută la antrenarea rapidă a modelului în abilități mai complexe.

Cercetătorii notează că Minecraft estedoar un exemplu de aplicații posibile ale noii tehnologii. În general, pre-training permite AI să folosească resurse minime pentru a dobândi diverse abilități bazate pe o cantitate mare de date video.

Citeste mai mult:

Sonda spațială a zburat la 200 km de Mercur. Uite ce a văzut

Casca chinezească pentru citirea minții sună un semnal de alarmă atunci când o persoană vede conținut porno

Satelitul lui Jupiter a fost privit într-o lumină nouă: ceea ce oamenii de știință au văzut acolo