Izstrādātāji ziņo, ka AI ir apguvis pamatprasmes, piemēram, koku ciršanu, dēļu izgatavošanu un
AI apmācībām OpenAI komanda izmantojaatvērtie videoklipi: aptuveni 70 000 stundu spēles videoierakstu. Lai tiktu galā ar šo apjomu, uzņēmums izstrādāja jaunu stratēģiju: iepriekšēja apmācība ar “pusskolotāju”.
Mācību shēma.Pirmais posms ir video meklēšana apmācībai, otrais posms ir IDM neironu tīkla apmācība, pamatojoties uz video, kas satur informāciju par peles kustībām un taustiņsitieniem, trešais posms ir video iezīmēšana, izmantojot IDM, un spēles neironu tīkla apmācība. Avots: OpenAI
Pirmajā posmā pētnieki apkopoja datus nobrīvprātīgie: viņi ierakstīja videospēles, kā arī taustiņsitienus un peles kustības. Pamatojoties uz šiem datiem, izstrādātāji apmācīja apgrieztās dinamikas modeli (IDM), lai noteiktu, kādas darbības atskaņotājs veic, pamatojoties tikai uz video datiem. Pēc tam IDM patstāvīgi "skatīja" un atzīmēja YouTube publicētos spēles ierakstus. AI apmācība spēlē tiek veikta, izmantojot jau atzīmētos IDM datus.
Izstrādātāji atzīmē, ka uzvedības modelisKlonētājs (“spēlētājs”), kas apmācīts ar IDM tagētu tiešsaistes videoklipu, Minecraft veic uzdevumus, kurus gandrīz nav iespējams izpildīt, izmantojot tradicionālo pastiprināšanas mācīšanos no nulles. Viņš mācās cirst kokus, lai savāktu baļķus, pārvērstu tos par dēļiem un pēc tam no dēļiem izveidotu amatniecības galdu. Personai, kurai pieder Minecraft, šī secība aizņem apmēram 50 sekundes vai tūkstoš secīgu spēles darbību.
Izstrādātāji arī parādīja, ka papildu precizēšana, veicot AI novērošanu faktiskajā spēles procesā, palīdz ātri apmācīt modeli sarežģītākās prasmēs.
Pētnieki atzīmē, ka Minecraft irtikai viens piemērs no iespējamām jaunās tehnoloģijas pielietojuma iespējām. Kopumā iepriekšēja apmācība ļauj AI izmantot minimālus resursus, lai iegūtu dažādas prasmes, pamatojoties uz lielu video datu apjomu.
Lasīt vairāk:
Kosmiskā zonde lidoja 200 km attālumā no Merkūrija. Paskaties, ko viņš redzēja
Ķīniešu domu lasīšanas ķivere atskan trauksmes signāls, kad cilvēks redz pornogrāfisku saturu
Jupitera pavadonis tika aplūkots jaunā gaismā: tas, ko zinātnieki tur redzēja