MIT의 과학자들은 인공 지능(AI) 시스템인 폴리 뮤직(Foley Music)을 선보였습니다.를 기반으로 한 음악
연구원들은 AI 모델이사람의 움직임을 기반으로 음악을 만들고, 비디오에 음향 효과를 자동으로 추가하는 것부터 가상 현실에서 몰입 형 경험을 만드는 것에 이르기까지 여러 응용 프로그램의 기반이 될 수 있습니다. 연구자들은 사람들도이 기술을 가지고 있다고 지적합니다. 예를 들어 입술로 사람의 말을 이해할 때 말입니다.
Foley Music은 핵심 포인트에 주목몸과 손의 움직임을 모델링하는 데 사용하는 중간 시각적 앵커 포인트로 몸 (25 점)과 손가락 (20 점)을 사용합니다. 그런 다음 시스템은 볼륨을 고려하여 이러한 움직임을 음표로 변환합니다. 따라서 아코디언,베이스 기타, 바순, 첼로, 기타, 피아노, 우쿨렐레 및 기타 악기를 연주 할 수 있습니다.
실험 중에 연구원들은 Foley를 훈련 시켰습니다.11 개 카테고리의 수천 개의 뮤직 비디오 클립을 포함하는 음악 3 개의 데이터 세트. 그래서 그들은 AtinPiano 웹 사이트의 지침, YouTube 채널의 아마추어 비디오, 콘서트 발췌 및 기타 데이터 등 다양한 복잡성의 비디오 코퍼스를 조합 할 수있었습니다.
연구원은 Foley Music 450을 업로드했습니다.비디오. 그런 다음 결과를 평가 한 과학자들에게 결과 음악을 제공했습니다. 어떤 경우에는 "음악은 고급 밴드의 커버와 같다"고 언급했습니다.
전문가들은 Foley Music의 생성 된 음악이 실제 녹음과 구별하기 어렵다는 것을 발견했습니다. 또한 AI는 오디오 품질, 의미 정렬 및 타이밍을 개선 할 수 있습니다.
참조 :
" 우주의 3D 지도를 보세요: 그것을 만드는 데 20년이 걸렸고, 이미 과학자들을 놀라게 했습니다
— Comet NEOWISE는 러시아에서 볼 수 있습니다. 볼 수 있는 곳, 볼 수 있는 곳, 사진 찍는 방법
" 세 개의 소행성이 지구를 향해 돌진하고 있으며 그 중 하나는 잠재적으로 위험합니다.위협이 있습니까?