ポイント Stable Video Diffusion に基づいた生成モデルである Stable Video 3D (SV3D) のリリースにより、3D技術の分野を発展させ、品質とビューの一貫性を大幅に改善します。 このリリースには SV3D_u と SV3D_p の2つのバリアントがあります。SV3D_uはカメラ調整なしで単一画像入力に基づいて軌道動画を生成します。SV3D_p は、単一画像と軌道ビューの両方に対応することで機能を拡張し指定されたカメラパスに沿った3Dビデオの作成を可能にします。 Stable Video 3D は、Stability AI メンバーシップに加入することで、商用利用が可能になります。非商用利用の場合は、Hugging Face のモデルウェイトをダウンロードし、こちらの研究論文をご覧ください。 Stable Video Diffusion をリリース時、私

今回は同じくStablity AIが、独自の3D生成サービスを提供してきたTripo AIと共同開発した「TripoSR」を紹介します。 低品質ながら圧倒的に高速TripoSRは「Large Reconstruction Model」という3D生成の手法を実装したもので、特徴はその速度にあります。筆者がテストしている環境はWindowsのRTX 4060 Ti 16GBと、ゲーム向けのビデオカードでもあまり高速ではありませんが、10～30秒程度で1枚の画像から3Dデータが生成できます。CUIを使えばVRAMも8GBに収まるため、多くのローカル環境でかなり手軽に3Dデータの生成が行えます。 ただし生成される3Dデータの品質は高くなく、そのままゲームやXRに利用できるものではありません。CSMやTripoといった商用サービスに比べれば形状もテクスチャも不正な結果が多く、がっかりするかもしれませ

プロンプト：1 girl, photorealistic, solo, perfect lighting, sailor dress, looking at viewer, long hair, black hair, two side up, ネガティブプロンプト：illustration, 3d render, (worst quality:2), (low quality:2), (normal quality:2), signature, watermark, username, open mouth

完全に自分目線の歴史です。時系列は適当なこともあるよ。 2022/8　モデルが公開されましたが、学習を始めた人は一部だけでしょう。 Stable Diffusionリリース 22日 これまでの画像生成AIと違いモデルがオープンになったことで、誰でも自由に学習できるようになりました。StabilityAIが公開したコードには学習コードも含まれていたので、技術力さえあればこの時点で学習できたのかな。コードやモデルファイルはStabilityAIによるコードと、HuggingfaceのDiffusersライブラリの二つに分かれており、今でも混乱の原因になっている気がします。 Textual Inversion論文自体はStable Diffusionの公開直前くらいに出たもののようですね。学習方法として最初に流行った方法で、27日には日本語記事が出てますね。はやい。 この頃はStabilityA

ポイント Developer Platform APIに、ビデオ生成の基盤モデルであるStable Video Diffusionを追加しました。 モデルは、平均41秒以内に、25フレームの生成フレームと24フレームのFILM補間からなる2秒間のビデオを生成することができます。 APIを通じたStable Video Diffusionの活用に関心のある開発者は、Stability AI Developer Platformで今すぐアクセスできます。 私たちの基盤となる画像-動画モデルであるStable Video Diffusionが、Stable AIのDeveloper Platform APIに追加されました。この新しい追加機能により、広告、マーケティング、テレビ、映画、ゲームなど、さまざまな分野向けに設計された最先端の動画モデルへのプログラムアクセスが可能になります。このリリース

ポイント SDXL Turboは、新しい蒸留技術によって最先端の性能を達成し、これまでにない品質のシングルステップ画像生成を可能にし、必要なステップ数を50から1に削減 非商用研究ライセンスでのリリース(Hugging Faceのモデルウェイトとコードをダウンロードしてください。) Clipdrop にてベータ版を公開中 新しいテキスト画像合成モードである SDXL Turbo をご紹介します。SDXL Turbo は、敵対的拡散蒸留（Adversarial Diffusion Distillation：ADD）と呼ばれる新しい蒸留技術に基づいています。この技術により、SDXL Turbo は1つのステップで画像出力を合成し、高いサンプリング忠実度を維持しながらリアルタイムでテキストから画像への出力を生成することができます。技術的な詳細に興味のある研究者や愛好家のために、研究論文はこちらで

Stable Diffusionの画像生成を画像によって条件づける方法をまとめていきます。といっても実装とかを全部見たわけではないので、多少間違っている部分もあるかもしれませんが、まあイメージはあってるっしょ。 手法の分類　画像の情報をUNetのどこに与えるかによって手法を分類します。とりあえず5つに分けてみました Cross Attentionに与える：Prompt Free Diffusion, PFG, IP-Adapter Self Attentionに与える：Reference only, FABRIC Time embeddingに与える：UnCLIP, Revision その他の場所に与える：ControlNet, GLIGEN, T2I-Adapter LoRAの重みを学習する：HyperDreambooth あれ・・？もしかしてこの時点でたいていの人は脱落ですか。この辺の

Stability AI launches SDXL 0.9: A Leap Forward in AI Image Generation Today, Stability AI announces SDXL 0.9, the most advanced development in the Stable Diffusion text-to-image suite of models. Following the successful release of Stable Diffusion XL beta in April, SDXL 0.9 produces massively improved image and composition detail over its predecessor. The model can be accessed via ClipDrop today,

前回学習設定の記事を書きましたが、しょうもないネタ画像を作るのが面白かったので、生成についても書いていきます。WebUIにある機能を中心に書きますが、実装をみないでフィーリングで理解してる部分もあります。 生成過程について　Stable-Diffusionは拡散モデルというもので、完全なノイズからノイズを除去していって画像を生成するとかいいますね。ざっくりと以下のような図で表されます。 一般的な設定　生成法によらない設定から紹介していきます。 解像度Stable-Diffusionの世界の掛け算九九　解像度自体は説明しなくても分かると思いますが、WebUIでは8の倍数の画像しか生成できません。これはVAEが潜在変数を8倍するからです。なんとなく8の倍数以外も生成できるようにするスクリプトを作ってみましたが、どうしても8の倍数以外を生成したいなら、できた画像をちょっと拡大縮小すればいいだけな

Stable Diffusionのオリジナルリリース以来、DreamStudioはStability AIが新しいモデルや機能を使用する際の主要なインターフェースとして機能してきました。最近では、私たちの最新の画像生成モデルであるSDXLを使用するためにアップグレードされたことをご記憶の方も多いと思います。このアプリケーションは、生成AIの能力を多くの人たちに届けるためのプラットフォームとして最初に開発されました。 私たちの目標は、より広いコミュニティと協力して、ユーザーが自由に使える生成AIのためのワールドクラスのユーザーインターフェイスを作ることです。 StableStudioの機能拡張について DreamStudioは、当初Disco Diffusionのアニメーションスタジオとしてイメージしていました。2022年夏、Stable Diffusionの登場を目前に控え、フォーカスは画