개발자들은 AI가 나무 베기, 판자 만들기, 나무 자르기 등 기본적인 기술을 배웠다고 보고합니다.
AI 교육을 위해 OpenAI 팀은 다음을 사용했습니다.공개 동영상: 약 70,000시간 분량의 게임 플레이 영상. 이 양에 대처하기 위해 회사는 "세미 교사"와 함께 사전 교육이라는 새로운 전략을 개발했습니다.
학습 계획.첫 번째 단계는 훈련용 비디오 검색, 두 번째 단계는 마우스 움직임 및 키 입력에 대한 정보가 포함된 비디오를 기반으로 IDM 신경망 훈련, 세 번째 단계는 IDM을 사용한 비디오 마크업 및 게임 신경망 훈련입니다. 출처: OpenAI
첫 번째 단계에서 연구자들은 다음에서 데이터를 수집했습니다.자원 봉사자: 그들은 비디오 게임과 키 입력 및 마우스 움직임을 녹화했습니다. 이 데이터를 기반으로 개발자는 비디오 데이터만을 기반으로 플레이어가 수행하는 작업을 결정하기 위해 역동역학 모델(IDM)을 훈련했습니다. 그 후 IDM은 YouTube에 게시된 게임의 녹음을 독립적으로 "보고" 표시했습니다. 게임 내 AI 교육은 이미 표시된 IDM 데이터를 사용하여 수행됩니다.
개발자들은 행동 모델이IDM 태그가 지정된 온라인 비디오에서 훈련된 복제기("플레이어")는 Minecraft에서 기존의 강화 학습으로 처음부터 완료하기 거의 불가능한 작업을 수행합니다. 그는 나무를 베어서 통나무를 모으고, 그 통나무를 널빤지로 만든 다음, 널빤지로 제작대를 만드는 법을 배웁니다. 이 시퀀스는 Minecraft를 소유한 사람의 경우 약 50초 또는 1000개의 연속 게임 작업이 걸립니다.
개발자들은 또한 AI가 실제 게임 과정을 관찰하여 추가적인 미세 조정을 하면 모델에 보다 복잡한 기술을 빠르게 가르칠 수 있다는 점을 보여주었습니다.
연구원들은 Minecraft가새로운 기술의 가능한 응용 프로그램의 한 예일 뿐입니다. 일반적으로 사전 훈련을 통해 AI는 많은 양의 영상 데이터를 기반으로 최소한의 리소스로 다양한 기술을 습득할 수 있습니다.
더 읽어보기 :
우주 탐사선은 수성에서 200km를 비행했습니다. 그가 본 것을 봐
포르노 콘텐츠를 본 사람이 경보를 울리는 중국의 마음 읽기 헬멧
목성의 위성을 새로운 시각으로 바라보았다: 과학자들이 그곳에서 본 것