Разработчиците съобщават, че AI е научил основни умения като изсичане на дървета, правене на дъски и
За обучение на AI екипът на OpenAI използваотворени видеоклипове: около 70 000 часа геймплей кадри. За да се справи с този обем, компанията разработи нова стратегия: предварително обучение с „полуучител“.
Схема на обучение.Първият етап е търсене на видео за обучение, вторият етап е обучение на IDM невронната мрежа въз основа на видеото, съдържащо информация за движенията на мишката и натисканията на клавиши, третият етап е видео маркиране с IDM и обучение на невронната мрежа на играта. Източник: OpenAI
В първата стъпка изследователите събраха данни отдоброволци: те записваха видеоигри, както и натискания на клавиши и движения на мишката. Въз основа на тези данни разработчиците обучиха модела на обратната динамика (IDM), за да определят какви действия изпълнява плейърът въз основа само на видео данни. След това IDM самостоятелно „прегледа“ и маркира записите на играта, публикувани в YouTube. AI обучението в играта се извършва с помощта на вече маркирани IDM данни.
Разработчиците отбелязват, че поведенческият моделКлонатор („играч“), обучен на онлайн видео с етикет с IDM, изпълнява задачи в Minecraft, които са почти невъзможни за изпълнение с традиционното обучение с подсилване от нулата. Той се научава да отсича дървета, за да събира трупи, да превръща тези трупи в дъски и след това да прави маса за изработка от дъските. Тази последователност отнема около 50 секунди или хиляда последователни игрови действия за човек, който притежава Minecraft.
Разработчиците също така показаха, че допълнителната фина настройка чрез AI наблюдение на действителния процес на игра помага за бързото обучение на модела в по-сложни умения.
Изследователите отбелязват, че Minecraft е такасамо един пример за възможните приложения на новата технология. Като цяло предварителното обучение позволява на AI да използва минимални ресурси за придобиване на различни умения въз основа на голямо количество видео данни.
Прочетете още:
Космическата сонда прелетя на 200 км от Меркурий. Вижте какво видя
Китайският шлем за четене на мисли звучи алармата, когато човек види порно съдържание
Спътникът на Юпитер беше погледнат в нова светлина: това, което учените видяха там