OpenAI nauczył się grać w Minecrafta, oglądając 70 000 godzin filmów na YouTube

Twórcy podają, że sztuczna inteligencja nauczyła się podstawowych umiejętności, takich jak ścinanie drzew, robienie desek i

tworzenie stołów do robótek ręcznych.Obserwowali także, jak pływał, polował, gotował i „skakał po filarach”. Co więcej, po opanowaniu podstawowych umiejętności, system nauczył się tworzyć diamentowy kilof. Aby przećwiczyć tę umiejętność w grze, gracze będący ludźmi potrzebują około 20 minut. i 24 tys. działań.

Do szkolenia AI wykorzystano zespół OpenAIotwarte filmy: około 70 000 godzin materiału z rozgrywki. Aby poradzić sobie z tym tomem, firma opracowała nową strategię: wstępne szkolenie z „pół-nauczycielem”.

Schemat uczenia się.Pierwszy etap to wyszukiwanie wideo do treningu, drugi etap to uczenie sieci neuronowej IDM w oparciu o wideo zawierające informacje o ruchach myszy i naciśnięciach klawiszy, trzeci etap to oznaczanie wideo za pomocą IDM i uczenie sieci neuronowej gry. Źródło: OpenAI

W pierwszym kroku badacze zebrali dane z:wolontariusze: nagrywali gry wideo, a także naciśnięcia klawiszy i ruchy myszy. Na podstawie tych danych programiści wyszkolili model odwrotnej dynamiki (IDM), aby określić, jakie działania wykonuje odtwarzacz na podstawie danych wideo. Następnie IDM niezależnie „obejrzał” i zaznaczył nagrania z gry opublikowane na YouTube. Trening AI w grze odbywa się z wykorzystaniem już oznaczonych danych IDM.

Twórcy zauważają, że model behawioralnyKloner („gracz”) wyszkolony na wideo online z tagami IDM wykonuje zadania w grze Minecraft, które są prawie niemożliwe do wykonania przy tradycyjnym uczeniu się przez wzmacnianie od zera. Uczy się ścinać drzewa, aby zbierać kłody, zamieniać je w deski, a następnie robić z nich stół rzemieślniczy. Ta sekwencja zajmuje około 50 sekund lub tysiąc następujących po sobie akcji w grze dla osoby, która jest właścicielem Minecrafta.

Twórcy pokazali również, że dodatkowe dostrojenie poprzez obserwację rzeczywistego procesu gry przez sztuczną inteligencję pomaga szybko wytrenować model w bardziej złożonych umiejętnościach.

Naukowcy zauważają, że Minecraft jesttylko jeden przykład możliwych zastosowań nowej technologii. Ogólnie rzecz biorąc, szkolenie wstępne pozwala sztucznej inteligencji na wykorzystanie minimalnych zasobów do nabywania różnych umiejętności w oparciu o dużą ilość danych wideo.

Czytaj więcej:

Sonda kosmiczna przeleciała 200 km od Merkurego. Zobacz, co zobaczył

Chiński hełm do czytania w myślach alarmuje, gdy dana osoba widzi treści pornograficzne

Satelita Jowisza został obejrzany w nowym świetle: co zobaczyli tam naukowcy