スマホで“1.8秒” テキストから高速で画像を生成するAI「SnapFusion」 Stable Diffusionと同等の画質

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 拡散に基づくテキスト画像合成モデルは、テキストプロンプトを用いたフォトリアリスティックなコンテンツの合成において著しい進歩を示している。しかし、これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十回のノイズ除去の繰り返しがあるため、計算コストが高く、実行に時間がかかる。 その結果、入力から出力までの時間を短くするには、ハイエンドGPUを搭載した大規模なクラウドベースのプラットフォームが必要になる。 モバイル機器上でテキストから画像への拡散モデルの推論を高速化する取り組みが新たに始まっている。例えば、Samsung Galaxy S23 Ul

[hirolog634]

同等の『画質』とはなんだろう？まあ、『品質』と言いたいのだとは思うが、画質というと解像度が同じなら良いので、512x512の画像生成ならスマホでもできるだろう。品質まで同じになると思えない。

[shunkeen]

“ステップの蒸留（step distillation）”／“32ステップの教師を、より少ないステップ、例えば16ステップで実行する生徒に蒸留することにより、ステップを削減する”／少ステップでも逆拡散しきった画質になるのか。

[Imamura]

より少ないステップ数で十分にノイズを除去できるってことかな。そういえばStability AIも去年の暮れくらいに30倍早くなる新方式を開発中と言っていたけど続報がないな

[nisisinjuku]

公開されたサービスじゃないのか。残念。

[akagiharu]

やっとか。高性能PCを画像ＡIのために買うとか面倒だもんな

[misshiki]

“「SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds」は、モバイル機器において、テキストプロンプトから2秒以内に画像を生成する拡散モデルを提案した研究報”

[Seamless]

iPhone 14 Proでテキストプロンプトから1.84秒で画像(512×512)を生成する拡散モデル。Stable Diffusion v1.5と同等の画質。