開発者らは、AIが木を伐採したり、板を作ったり、
AIトレーニングには、OpenAIチームが使用しましたオープンビデオ：約70,000時間のゲームプレイ映像。この量に対処するために、同社は新しい戦略を開発しました。それは、「セミティーチャー」による事前トレーニングです。
学習のスキーム。第1段階はトレーニング用のビデオの検索、第2段階はマウスの動きとキーストロークに関する情報を含むビデオに基づくIDMニューラルネットワークのトレーニング、第3段階はIDMを使用したビデオマークアップとゲームニューラルネットワークのトレーニングです。出典：OpenAI
最初のステップでは、研究者はからデータを収集しましたボランティア：彼らはビデオゲーム、キーストローク、マウスの動きを記録しました。このデータに基づいて、開発者は逆ダイナミクスモデル（IDM）をトレーニングし、ビデオデータのみに基づいてプレーヤーが実行するアクションを決定しました。その後、IDMは、YouTubeで公開されたゲームの記録を独自に「表示」し、マークアップしました。ゲームでのAIトレーニングは、すでにマークされたIDMデータを使用して実行されます。
開発者は、行動モデルに注意しますIDMタグ付きのオンラインビデオでトレーニングされたクローン作成者（「プレーヤー」）は、Minecraftでタスクを実行します。これは、従来の強化学習ではゼロから完了することはほとんど不可能です。彼は木を切り倒して丸太を集め、それらの丸太を板に変え、そして板からクラフトテーブルを作ることを学びます。このシーケンスには、Minecraftを所有している人の場合、約50秒または1000回の連続したゲームアクションが必要です。
開発者はまた、実際のゲームプロセスのAI観察による追加の微調整が、モデルにより複雑なスキルをすばやく教えるのに役立つことを示しました。
研究者は、Minecraftは新しいテクノロジーの可能なアプリケーションのほんの一例です。一般に、事前トレーニングにより、AIは最小限のリソースを使用して、大量のビデオデータに基づいてさまざまなスキルを習得できます。
続きを読む：
宇宙探査機はマーキュリーから200キロ離れたところを飛行しました。彼が見たものを見てください
人がポルノコンテンツを見ると、中国の読心ヘルメットが警報を鳴らします
木星の衛星は新しい光の中で見られました：科学者がそこで見たもの