Os desenvolvedores relatam que a IA aprendeu habilidades básicas como cortar árvores, fazer tábuas e
Para o treinamento de IA, a equipe OpenAI usouvídeos abertos: cerca de 70.000 horas de cenas de jogo. Para lidar com esse volume, a empresa desenvolveu uma nova estratégia: pré-treinamento com um “semi-professor”.
Esquema de aprendizado.A primeira etapa é a busca de vídeo para treinamento, a segunda etapa é treinar a rede neural IDM com base no vídeo contendo informações sobre movimentos do mouse e pressionamentos de tecla, a terceira etapa é marcação de vídeo usando IDM e treinamento da rede neural do jogo. Fonte: OpenAI
Na primeira etapa, os pesquisadores coletaram dados devoluntários: eles gravaram videogames, assim como teclas e movimentos do mouse. Com base nesses dados, os desenvolvedores treinaram o modelo de dinâmica inversa (IDM) para determinar quais ações o jogador executa com base apenas em dados de vídeo. Depois disso, o IDM "visualizou" e marcou de forma independente as gravações do jogo publicadas no YouTube. O treinamento do jogo de IA é realizado usando dados IDM já marcados.
Os desenvolvedores observam que o modelo comportamentalUm clonador ("jogador") treinado em um vídeo on-line marcado com IDM executa tarefas no Minecraft que são quase impossíveis de concluir com o aprendizado de reforço tradicional do zero. Ele aprende a derrubar árvores para coletar troncos, transformar esses troncos em tábuas e depois fazer uma mesa de trabalho com as tábuas. Essa sequência leva cerca de 50 segundos ou mil ações consecutivas do jogo para uma pessoa que possui o Minecraft.
Os desenvolvedores também mostraram que o ajuste fino adicional por meio da observação de IA do processo real do jogo ajuda a ensinar rapidamente ao modelo habilidades mais complexas.
Os pesquisadores observam que o Minecraft éapenas um exemplo de uma possível aplicação da nova tecnologia. Em geral, o pré-treinamento permite que a IA use recursos mínimos para adquirir várias habilidades com base em uma grande quantidade de dados de vídeo.
Consulte Mais informação:
A sonda espacial voou 200 km de Mercúrio. Olha o que ele viu
Capacete chinês de leitura da mente soa o alarme quando uma pessoa vê conteúdo pornográfico
O satélite de Júpiter foi visto sob uma nova luz: o que os cientistas viram lá