Les développeurs rapportent que l'IA a acquis des compétences de base telles que couper des arbres, fabriquer des planches et
Pour la formation à l'IA, l'équipe OpenAI a utilisévidéos ouvertes : environ 70 000 heures de séquences de gameplay. Pour faire face à ce volume, l'entreprise a développé une nouvelle stratégie : la pré-formation avec un « semi-professeur ».
Schéma d'apprentissage.La première étape est la recherche de vidéo pour la formation, la deuxième étape est la formation du réseau de neurones IDM sur la base de la vidéo contenant des informations sur les mouvements de la souris et les frappes, la troisième étape est le balisage vidéo à l'aide d'IDM et la formation du réseau de neurones du jeu. Source : OpenAI
Dans un premier temps, les chercheurs ont recueilli des données auprès devolontaires : ils ont enregistré des jeux vidéo, ainsi que des frappes au clavier et des mouvements de souris. Sur la base de ces données, les développeurs ont formé le modèle de dynamique inverse (IDM) pour déterminer les actions que le joueur effectue en se basant uniquement sur les données vidéo. Après cela, IDM a "vu" et annoté indépendamment les enregistrements du jeu publiés sur YouTube. La formation à l'IA dans le jeu est effectuée à l'aide de données IDM déjà marquées.
Les développeurs notent que le modèle comportementalUn cloneur (« joueur ») formé sur une vidéo en ligne étiquetée IDM effectue des tâches dans Minecraft qui sont presque impossibles à accomplir avec l'apprentissage par renforcement traditionnel à partir de zéro. Il apprend à abattre des arbres pour ramasser des bûches, à transformer ces bûches en planches, puis à fabriquer une table d'artisanat à partir des planches. Cette séquence prend environ 50 secondes soit mille actions de jeu consécutives pour une personne qui possède Minecraft.
Les développeurs ont également montré qu'un ajustement supplémentaire grâce à l'observation par l'IA du processus de jeu réel permet de former rapidement le modèle à des compétences plus complexes.
Les chercheurs notent que Minecraft estun exemple des applications possibles de la nouvelle technologie. En général, la pré-formation permet à l'IA d'utiliser un minimum de ressources pour acquérir diverses compétences basées sur une grande quantité de données vidéo.
Lire la suite:
La sonde spatiale a volé à 200 km de Mercure. Regarde ce qu'il a vu
Un casque de lecture de pensées chinois sonne l'alarme lorsqu'une personne voit du contenu porno
Le satellite de Jupiter a été regardé sous un jour nouveau : ce que les scientifiques y ont vu