MIT の科学者は、以下に基づいて音楽を生成する人工知能 (AI) システム Foley Music を発表しました。
研究者は、AIモデルが人間の動きに基づいて音楽を作成し、ビデオに効果音を自動的に追加することから、仮想現実に没入型体験を作成することまで、いくつかのアプリケーションの基礎になることができます。研究者は、人々がこのスキルを持っていることを指摘します-例えば、彼らが唇で人のスピーチを理解するとき。
フォーリーミュージックは重要なポイントに注意を引きます身体（25ポイント）と指（20ポイント）を中間視覚アンカーポイントとして使用し、身体と手の動きをモデル化するために使用します。次に、システムはこれらの動きを音量を考慮して音符に変換します。したがって、アコーディオン、ベースギター、バスーン、チェロ、ギター、ピアノ、ウクレレなどの楽器を演奏できます。
実験中、研究者たちはフォーリーを訓練しました11のカテゴリーの1000のミュージックビデオクリップを含む3つのデータセットへの音楽。そのため、さまざまな複雑さのビデオのコーパス（AtinPiano Webサイトからの指示、YouTubeチャンネルからのアマチュアビデオ、コンサートからの抜粋、その他のデータ）を集めることができました。
研究者がFoley Music 450をアップロードしましたビデオ。次に、結果の音楽を科学者に与え、科学者は結果を評価しました。ある場合には、彼らは「音楽は良質なバンドのカバーのようなものだ」と述べた。
専門家は、フォーリーミュージックの生成された音楽は実際の録音と区別するのが難しいことを発見しました。さらに、AIはオーディオ品質、セマンティックアラインメント、タイミングを改善できます。
また見なさい：
— 宇宙の 3D 地図を見てください。編集には 20 年かかり、すでに科学者を驚かせています。
— ネオワイズ彗星がロシアで見えています。どこで見るか、どこを見て、どのように写真を撮るか
— 3 つの小惑星が地球に向かって飛来しており、そのうちの 1 つは潜在的に危険です。脅威はありますか?