画像生成AI「Stable Diffusion」でスマホでもわずか1枚2秒という爆速で画像生成ができる「SnapFusion」

画像生成AIのStable Diffusionは、文章を入力するだけでイラストや写真を自動で生成してくれます。しかし、この画像生成のプロセスは複雑な処理を何度も行うため、ハイスペックなGPUを搭載したマシンが必要となります。そんなStable Diffusionをスマートフォン上で、1枚2秒未満という速度で画像生成できるようにした「SnapFusion」を開発したと、ノースイースタン大学と写真共有アプリ・Snapchatの開発企業であるSnapの研究者が発表しました。 SnapFusion https://snap-research.github.io/SnapFusion/ SnapFusionが爆速で画像を生成する様子は、以下のムービーで見ることができます。 On-Device Demo for SnapFusion - YouTube iPhoneでSnapFusionを実行している

[misshiki]

“Stable Diffusionをスマートフォン上で、1枚2秒未満という速度で画像生成できるようにした「SnapFusion」”

[ookitasaburou]

“Stable Diffusionバージョン1.5では、画像1枚の生成に1分24秒かかっていたのが、SnapFusionだと1.84秒しかかからなかったとのこと。”

[interferobserver]

サーバーへプロンプトを送信とあるけど、生成処理自体は端末でやってるの？

[isrc]

研究チームはオリジナルのStable Diffusionより効率的なUNetを提案／生成のステップ数は8となっていますが、Stable Diffusionのバージョン1.5でステップ数50で生成した画像よりも応答性とプロンプトとの関連性が優れていたと主張