【AI動画生成】Animate Anyone 論文解説

はじめに 11月も終わり、今年も残るところあと一か月となりました。 今年ももう終わるから今年中に成果を上げとけ！と言わんばかりに最近は新技術の登場が多いです。 今回取り上げるのも11月最後の大砲として出てきた新技術、その名もAnimate Anyone Animate Anyoneとはなんぞや 文字で説明するより見たほうが早い 凄くざっくり説明すると、一枚の絵と動きをボーン動画として入力すると、入力した絵がボーン動画と同じ動きをしてくれるよ！というもの。 似たようなものは今までもReferenceOnly × openpose × animatediffとかで出来ましたが、特筆すべきはその精度。 動画生成の大敵であるちらつきは一切なく、入力画像にかなり忠実な動画を生成しています。 さてこの技術、動画生成にずっと注目している自分としてはいますぐにでも弄り倒したいのですが、残念ながらコードとモ

[lyiase]

使っているモデルと構造から計算したらVRAMが20GBくらい掛かりそう。使いたかったら良いGPUが必要だな

[stealthinu]

全然ちらつかないので一貫性は前後から得ている部分が大きいのかと思っていたがReferenceNetの貢献が大きいらしい。最初に時間依存使わず学習してから時間使うという学習方法も影響大きい？

[misshiki]

“凄くざっくり説明すると、一枚の絵と動きをボーン動画として入力すると、入力した絵がボーン動画と同じ動きをしてくれるよ！というもの。”

[buhoho]

GPT-3出てから魔法みたいなことが次々実現してて感覚が麻痺してきてる。ドラえもんの道具やん。

[auto_chan]

一枚絵で回転してもAIの想像力で補完してくれるのさすが。ｳﾞｨｰの者がﾀｹｰｽﾀｼﾞｵ入らなくても踊れるじゃないかもっとやれ。

[rt24]

TikTokとか、これで作った動画まみれになりそう

[hirolog634]

想像の100倍すごい。アニメのように背景と人物をきれいに切り分けられるものなら、ほぼ完成形に見える。デモ動画通りならすごすぎる。

[anigoka]

すんご