映像に効果音を自動でつけてくれる機械学習アルゴリズム、「AutoFoley」が登場！ | Techable(テッカブル)

映画の中のバタンと扉が閉まる音なんかは、視聴者を映像の世界に引き込むうえでの重要な要素だ。映画制作で効果音をつけるフォーリーアーティストは、シーンに合った音を決定し、タイミングピッタリで映像に当て込んでいる。 大変な労力を要する作業だが、これをAIが自動でやってくれる日がくるかもしれない。テキサス大学サンアントニオ校の研究者らは、映像に効果音をつける際の一連の作業を行うアルゴリズム「AutoFoley」を発表した。オブジェクトのアクションを経時的に分析AutoFoleyは、あらかじめ用意された効果音を映像に当て込んでくれる。フレームから画像の特徴を抽出してこれに合った効果音を決定するモデルと、フレーム内オブジェクトのアクションを経時的に分析するモデルが、音と映像の正確な同期を実現しているようだ。 AutoFoleyの評価には、映像と効果音を含んだ大規模データセットを利用した。このデータセッ

[kei_1010]

あとで見る

[kesyomota]

動物動画にAI音声で自動アテレコする地獄の未来が見えた

[tick2tack]

BGMかとおもったらSEか。なんかしらんが昔の映像っぽさを感じた

[rat_and_east]

走る馬の映像だと、さすがに脚の接地と同期してないか。

[attyan7639]

時短！