Vývojáři hlásí, že AI se naučila základní dovednosti, jako je kácení stromů, výroba prken a
Pro školení AI použil tým OpenAIotevřená videa: asi 70 000 hodin herního záznamu. Aby se společnost vyrovnala s tímto objemem, vyvinula novou strategii: přípravné školení s „poloučitelem“.
Schéma učení.První fází je vyhledávání videa pro trénink, druhou fází je trénování IDM neuronové sítě na základě videa obsahujícího informace o pohybech myši a stisku kláves, třetí fází je video markup pomocí IDM a trénování herní neuronové sítě. Zdroj: OpenAI
V prvním kroku výzkumníci shromáždili data zdobrovolníci: nahrávali videohry, stejně jako stisky kláves a pohyby myší. Na základě těchto dat vývojáři trénovali inverzní dynamický model (IDM), aby určili, jaké akce přehrávač provádí pouze na základě video dat. Poté si IDM samostatně „prohlédlo“ a označilo záznamy ze hry zveřejněné na YouTube. Trénink AI her se provádí pomocí již označených IDM dat.
Vývojáři poznamenávají, že model chováníKlonér („hráč“) vyškolený na online videu označeném IDM provádí v Minecraftu úkoly, které je téměř nemožné dokončit tradičním posilovacím učením od nuly. Učí se kácet stromy, aby sbíral polena, přeměňovat je na prkna a pak z prken vyrobit pracovní stůl. Tato sekvence trvá asi 50 sekund nebo tisíc po sobě jdoucích herních akcí pro osobu, která vlastní Minecraft.
Vývojáři také ukázali, že dodatečné vyladění pomocí pozorování AI skutečného herního procesu pomáhá rychle naučit model složitějším dovednostem.
Výzkumníci poznamenávají, že Minecraft jejen jeden příklad možných aplikací nové technologie. Obecně platí, že předtrénink umožňuje AI používat minimální zdroje k získání různých dovedností na základě velkého množství video dat.
Přečtěte si více:
Vesmírná sonda letěla 200 km od Merkuru. Podívejte se, co viděl
Čínská helma na čtení myšlenek spustí alarm, když člověk uvidí porno obsah
Na satelit Jupitera se podívali v novém světle: to, co tam vědci viděli