Розробники повідомляють, що ІІ навчився базовим навичкам, таким як рубання дерев, виготовлення дощок та
Для навчання ІІ команда OpenAI використалавідкриті відео: близько 70 тис. годин записів проходження гри. Щоб упоратися з таким обсягом, компанія розробила нову стратегію: попереднє навчання з «напівучителем».
Схема навчання.Перший етап – пошук відео для навчання, другий етап навчання нейромережі IDM на основі відео, що містить відомості про рухи миші та натискання клавіш, третій етап – розмітка відео за допомогою IDM та навчання ігрової нейромережі. Джерело: Open AI
На першому етапі дослідники зібрали дані віддобровольців: вони записували відеоігри, а також натискання клавіші та рухи миші. На основі цих даних розробники навчили модель зворотної динаміки (IDM) визначати, які дії виконує гравець, ґрунтуючись лише на відеоданих. Після цього IDM самостійно "переглянув" і розмітив записи гри, опубліковані на YouTube. Навчання ІІ грі проводиться за допомогою вже розмічених IDM даних.
Розробники зазначають, що модель поведінковогоклонування («гравець»), навчена на онлайн-відео, промаркованому IDM, виконує завдання Minecraft, які майже неможливо виконати за допомогою традиційного навчання з підкріпленням з нуля. Він вчиться рубати дерева, щоб збирати колоди, перетворювати ці колоди на дошки, а потім робити з дощок стіл для крафту. Ця послідовність займає у людини, що володіє Minecraft, приблизно 50 або тисячу послідовних ігрових дій.
Розробники також показали, що додаткове тонке налаштування за допомогою спостереження за реальним ігровим процесом допомагає швидко навчити модель більш складним навичкам.
Дослідники зазначають, що Minecraft – целише один із прикладів можливого застосування нової технології. Загалом попереднє навчання дозволяє використовувати мінімальні ресурси для набуття ІІ різних навичок на основі великого обсягу відеоданих.
Читати далі:
Космічний зонд пролетів за 200 км від Меркурія. Подивіться, що він побачив
Китайський шолом для «читання думок» б'є на сполох, коли людина бачить порноконтент
На супутник Юпітера подивились у новому світлі: що там побачили вчені