「100fps以上も可能」爆速すぎる画像生成AI技術、日本人研究者ら開発

AITuber「しずく」開発者としても知られる、あき先生ことakio kodaira氏を筆頭にした研究グループは12月21日、リアルタイム画像生成を実現するために最適化されたパイプライン「StreamDiffusion」を発表。従来の画像生成パイプラインと比べて飛躍的な速度向上を実現している。 ノイズ除去をバッチ処理で高速化 「Stable Diffusion」をはじめとする画像生成AIモデルの高性能化は著しいが、メタバース、オンラインストリーミングなど高スループットと低レイテンシーが必要な環境ではまだ力不足だ。 StreamDiffusionは新しいアプローチを採用し、従来の連続的なノイズ除去をバッチ処理のプロセスに変換することで、高スループットストリームを実現。さらに、GPUの利用効率を向上させるため、従来の分類器フリーガイダンス（CFG）に代わり、残差分類器フリーガイダンス（RCFG

[secseek]

これでゲーム開発の工数が減って、ゲームの見た目じゃなく中身に手間をかけられる時代になるといいなあ、と思います…

[tpxyid45i]

この爆発的な進化速度を見よ。あなたのつけた難癖は1年以内にすべて完全に解決されます。/　id:gewaa どうもしねえよ馬鹿。

[u_mid]

↓記事の最初の1枚目のgif画像がテキストからのTxt2imgで2枚目のgif画像がVRoid Studioの3DリアルタイムレンダからのImg2imgでは。まともに記事読めなくなるタイプの広告ブロッカー使ってて1枚目が見えない or 止まってるとか？

[ardarim]

img2imgがほぼ遅延なしなのはすごそうだけど入力と出力がほぼ同じなので分かりにくいな。もっと出力を変えた例とかないんかな

[BARUBARU]

記事内の作例みると、3Dプリレンダアニメからのimg2imgに見えるけど「テキストから〜」とは如何に？

[buhoho]

簡素な3Dモック映像(画像)とAIフィルターで超高精細表現のゲームが近いうち実現されると信じてます！

[tonkas]

俺らの憧れアキ先生がやってくれた！ そしてアキ先生はこの先もますます爆進しそうなので応援してる〜

[makou]

github見てるだけで面白い。/ https://github.com/cumulo-autumn/StreamDiffusion/tree/main/demo/realtime-txt2img のことを言いたいのかなとも思ったが…。

[zxcvdayo]

べつにimg2imgにかぎった話じゃないのでgithubのREADME見てくるのがいちばん早いっすよ、gifいっぱいあるので

[kkobayashi]

アニメも余裕で作れるな。AIキャラが動くゲームとかできるようになるのか

[sirius_taka]

ゲームの村人が同じ質問とリアクションを繰り返す時代はもう戻ってこないな

[asitanoyamasita]

ベイブレードの新作アニメのPVで、AI生成イラストでダンスさせてるの見て驚いた。業界にもノウハウが溜まっていくのか、いや技術躍進のスピードがそれを凌駕しているやも…　　https://youtu.be/qBkcPBXiuI8?si=iaoWgVa7PJP3HGS1

[udukishin]

最近は3D描画が既存のポリゴン形式からAI画像生成方式に変わるんじゃないかと思ってる

[tourism55]

ここに「髪を緑に」「目を赤に」「カチューシャつけて」とテキスト足して出力できるのかな。確かにゲーム向き。

[NAPORIN]

“テキストから画像生成はおろか、動画まで生成できる時代が来てしまった”

[manaten]

100fpsということは、秒間100枚生成できるということなので（進次郎構文）、もはやgoogle画像検索するより画像生成したほうが早いということだよな…

[shinobue679fbea]

人間の持つすべての机上スキルは無価値になるわな。

[rikuzen_gun]

い]

[nilab]

「AITuber「しずく」開発者としても知られる、あき先生ことakio kodaira氏を筆頭にした研究グループは12月21日、リアルタイム画像生成を実現するために最適化されたパイプライン「StreamDiffusion」を発表」

[puhu208n]

入力がVRoid Studioモデルの手付けアニメで差分がこれだけなら、AI画像生成じゃなくてほぼフル手描きの超解像(本来のDiffusion)じゃん。それはアニメ絵師虐殺を目指す米国系AI画像生成の敗北だろ。しかも国産だし。

[gewaa]

1年以内にすべて解決とか言うバカ。例えばベルセルクの続きを人間が作画してるのが今のAIの限界なんだが、1年後に解決できてなかったらどうしてくれるんだ？　むやみにAI持ち上げりゃ賢いと勘違いしてる奴は見苦しい。

[jassmaz]

“akio kodaira”

[urtz]

撮った動画が背景含めてリアルタイムでアニメになる時代がすぐそこに。

[star_123]

アキ先生ただ者じゃないと思ってたけどすごいね

[Kukri]

なんか凄い。すごく凄い。シナリオと設定を入れるだけでAIがアニメ作ってくれる日も近そう。なんなら、キャラクターの絵とかおまかせでもOKとか

[rt24]

この技術使って「観測した瞬間に無限に生成され続ける世界」みたいなVR体験してみたいな〜（悪夢じみてそうだけど）

[seachel]

低強度i2i動画のリアルタイム変換ってなんか使い道あるんかなぁ……まぁこれは基礎研究でこれから発展していくんだろうけども

[mini3mini3]

id:Hondara6　またアカウント作り直したの？

[shag]

この記事だとわかんない。。

[otihateten3510]

合わせて読みたい　　「フレームレートが高いと映像がショボくなる説」https://togetter.com/li/2277365

[blueboy]

　アニメーター大量失業。　プログラマー大量失業とどっちが話題になるか？

[misshiki]

“リアルタイム画像生成を実現するために最適化されたパイプライン「StreamDiffusion」を発表。従来の画像生成パイプラインと比べて飛躍的な速度向上を実現している。”

[nisisinjuku]

そんなことより、そのフィットチーネみたいな髪をサラサラにした方がよいのでは？と思うのです。

[gnoname]

AItuberしずくで揉めてたから驚き屋は担ぎ上げてるけど正直ゴミみたいな印象しかない