迫真AI部 movie2movieの裏技

話題のAI画像生成で動画を変換してみました。Stable Diffusion(AUTOMATIC1111)を魔改造してmovie2movie（動画→動画）変換してます。不安定に見えますが、試行錯誤を経てだいぶ絵っぽく見えてきてます。ただ迫真空手部しか変換してみてないので、今後色々やってみようかと思います。元動画の解像度が低いからか元とかけ離れた画像を生成しまくって、調整すっげぇキツかったゾ...。▼実現方法1. 動画→フレーム出力2. フレームをSwinIRで4倍高解像度化3. ポスタリゼーションをかけて境界をくっきりさせてみました（階調は10弱、ですかね...）4. 画像を512px * 512px にリサイズ5. img2img変換（余力があればここでもう一回高解像度化してみても良いかも。）6. フレーム→動画出力※プロンプトはシーン毎に少しずつ変えてみてます。すべてpythonで自動

[for-my-internet-demo]

すぐ進歩してしまいそう

[gnt]

「アニメはただのつながった大量の絵だからさー量の問題だよね」と言えてしまう、アニメーターやある種のアニメ好きがいちばん嫌うタイプの映像になってる/それ言ったらFlash紙人形もだけど

[udofukui]

まぁこれは想像の範囲内だなぁ。 これが進化するとどこまでいくか。

[evans7]

「すべてpythonで自動化、Ryzen9 5900X ＆ RTX2060 で1000フレームあたり3時間ちょっとかかりました。」はえー、すっごい。このレベルで３時間なのか。連続性ある絵に見える瞬間もあるし普通に実用性ありそう。

[inatax]

勿論アイデアを実行してみるというのは重要だけど、フレーム毎にimg2imgかけたらまあこうなるよねという感じなので、感動してる人がどこに感動してるのかよく分かんない

[zkq]

まる1日かかるだろと思えばたったの3時間とな？

[tattyu]

目を薄めて見るかメガネ外すと元の動画が出てくるの草。

[manjirou99]

本来モデルの改良で滑らかな動画は作れる様になると思うけど AIのCLIPとかモデルを弄る事が出来ずにオープン化したモデルでただ力技で大量生成したっぽいのが悲しい、、、数学もソフトウェア技術も不毛の地域なのか。

[maketexlsr]

こんなん次はアニメバラして時間軸方向の変化を学習させるに決まってるやん。カット每にばらせば必要メモリ量も大したことないし(…大したことあるし絶対やりたくないけど)

[pwatermark]

フレームごとにそのままimg2imgかけるんじゃなくて、場面ごとにimg2txtした総和もしくは平均を作って「その場面のPrompot」を生成、それと合わせてimg2imgする、とかやれば、もうちょっと統一性作れそう

[hetoheto]

ぐっちゃぐちゃだけど一時停止するとちゃんと絵になってるのな

[neetnin]

淫夢が最新技術の実験場と化してる件。

[tohshindainokawaisa]

フレームでimg2imgって努力がすごい。改善の余地もかなりありそうという示唆にも富んでるし中々貴重な作品

[yabusaki]

一コマあたり複数のimageを出力させて、前フレームに最も似ている画像を選択するようにすれば少しはマシになるのでは

[kkkirikkk]

技術的には凄いし興味深いのに、元動画のチョイスがニコニコのダメなとこ出てるなって思った。一体何が面白いんだ

[kasahannra]

後で観る

[faifan]

一つ前の絵からのフィードバックを次の絵に反映できるようになったら化ける気がするな

[ardarim]

アイデアは認める（謎の上から目線）　　今のAIお絵描きの日々の進化っぷりを見てるとすぐチューニングされていい感じになっちゃう可能性も無くはないな

[Sore_0]

初音ミク&NovelAIの同様の試み上げている人もいたな https://www.youtube.com/watch?v=OVpYBxK0sCg あとは場面ごとにアノテーションつけてプロンプト切り替えればだいぶ見れそう

[shikiarai]

あとはどれだけ試行すればまともになるかなぁってところだよね

[s2kw]

見い出し力の塊りだ

[neko2bo]

こういう事もできちゃうんだ...

[samu_i]

棒人間とか構造のある程度わかる人間を描いておいて、その上にAIで絵を描かせればいいのでは？(やりたいとは思わない

[timetrain]

とてつもないものを見た。これ、とんでもない勢いで進歩してるのにまだ加速するのか

[napsucks]

元動画を1フレームずつimg2imgしたのか

[vndn]

なんかすごい視覚体験だった