Die Entwickler berichten, dass die KI grundlegende Fähigkeiten wie das Fällen von Bäumen, das Herstellen von Brettern usw. erlernt hat
Für das KI-Training wurde das OpenAI-Team verwendetoffene Videos: etwa 70.000 Stunden Spielmaterial. Um dieses Volumen zu bewältigen, hat das Unternehmen eine neue Strategie entwickelt: die Vorschulung mit einem „Semi-Lehrer“.
Schema des Lernens.Die erste Stufe ist die Suche nach Video für das Training, die zweite Stufe ist das Training des neuronalen IDM-Netzwerks basierend auf dem Video, das Informationen über Mausbewegungen und Tastenanschläge enthält, die dritte Stufe ist Video-Markup unter Verwendung von IDM und das Training des neuronalen Netzwerks des Spiels. Quelle: OpenAI
Im ersten Schritt sammelten die Forscher Daten ausFreiwillige: Sie zeichneten Videospiele sowie Tastenanschläge und Mausbewegungen auf. Basierend auf diesen Daten trainierten die Entwickler das Inverse Dynamics Model (IDM), um zu bestimmen, welche Aktionen der Player nur auf der Grundlage von Videodaten ausführt. Danach hat IDM die auf YouTube veröffentlichten Aufzeichnungen des Spiels unabhängig „angesehen“ und markiert. Das KI-Training im Spiel erfolgt anhand bereits markierter IDM-Daten.
Die Entwickler weisen darauf hin, dass das VerhaltensmodellEin Kloner („Spieler“), der mit einem IDM-getaggten Online-Video trainiert wurde, führt in Minecraft Aufgaben aus, die mit traditionellem Verstärkungslernen von Grund auf kaum zu bewältigen sind. Er lernt, Bäume zu fällen, um Baumstämme zu sammeln, diese Baumstämme in Bretter zu verwandeln und dann aus den Brettern einen Basteltisch zu bauen. Diese Sequenz dauert ungefähr 50 Sekunden oder tausend aufeinanderfolgende Spielaktionen für eine Person, die Minecraft besitzt.
Die Entwickler zeigten zudem, dass zusätzliches Feintuning durch KI-Beobachtung des eigentlichen Spielverlaufs dabei hilft, dem Modell schnell komplexere Fähigkeiten beizubringen.
Forscher stellen fest, dass Minecraft istnur ein Beispiel für die Anwendungsmöglichkeiten der neuen Technologie. Im Allgemeinen ermöglicht das Vortraining der KI, mit minimalen Ressourcen verschiedene Fähigkeiten auf der Grundlage einer großen Menge an Videodaten zu erwerben.
Weiter lesen:
Die Raumsonde flog 200 km vom Merkur entfernt. Schau, was er gesehen hat
Chinesischer Gedankenlesehelm schlägt Alarm, wenn eine Person Pornoinhalte sieht
Der Satellit des Jupiter wurde in einem neuen Licht betrachtet: was Wissenschaftler dort sahen