音楽からふりつけを自動生成 ポップスやジャズなどに合わせてキャラクターがダンス

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 中国のNetEase Games AI LABと清華大学の研究チームが開発した「ChoreoMaster : Choreography-Oriented Music-Driven Dance Synthesis」は、音楽からキャラクターの振り付けを生成するダンスモーション合成システムだ。ポップスやヒップホップ、ロック、ジャズなど、さまざまな音楽スタイルのリズムに応じた動きを作り出す。 ダンスアニメーションの制作はコストが高いため、昨今では、音楽からダンスアニメーションを自動生成する深層学習フレームワークが開発され、いくつか報告されている。しかし、発展途上の技術なため、汎用性や制御性の低さ、

[muchonov]

実際の映像にはSIGGRAPHらしい不気味の谷底感があるけど、こういう風に「新しい労働集約的作業」をAI化していく流れは止まらないんじゃろね

[pwatermark]

MMDとして見てみれば全然及第点、実際の振り付けを作るネタ生成、くらいの使い方であれば、すぐに実戦投入できるんじゃないかね

[uotocs]

すげー

[tsutsumi154]

ふりかけを自動生成

[misshiki]

事例“「ChoreoMaster : Choreography-Oriented Music-Driven Dance Synthesis」は、音楽からキャラクターの振り付けを生成するダンスモーション合成システム”

[trashcan]

ふりかけに見えた。音楽に合わせてシャカシャカ出てくるイメージ。

[kz78]

連邦に反省を促そう

[punychan]

動画の最後に、他の手法との比較があるけど、比較できるほどたくさんあることに驚いた。

[mayumayu_nimolove]

中国と聞いただけで、いろんな拳法を混ぜて作ってるように見えてしまう不思議。

[neko2bo]

おもしろーい。

[syakinta]

iwaraでエロダンスやってそう

[Seamless]

動きの繋ぎ合わせではなく,音楽とダンス間のスタイルとリズムの関係を重視し,プロがラベルを付けたダンスのビートパターンデータ群で学習。様々な振付ルールを尊重した滑らかなダンスを出力。