ポイント Stable Cascadeは、Würstchen アーキテクチャをベースにした新しいテキスト画像変換モデルです。このモデルは、非商用利用のみを許可する非商用ライセンスの下でリリースされます。 Stable Cascadeは、3段階のアプローチにより、一般消費者向けハードウェアでのトレーニングと微調整が簡単にできます。 チェックポイントと推論スクリプトを提供するだけでなく、皆さんがこの新しいアーキテクチャをさらに試せるように、微調整、ControlNet、LoRAトレーニング用のスクリプトを Stability AI の GitHub で公開しています。 はじめに Stable Cascade の研究プレビューが公開されました。この革新的なテキストから画像へのモデルは、品質、柔軟性、微調整、および効率性のための新しいベンチマークを設定し、ハードウェアのバリアをさらに排除することに

2024年1月17日に発売した「GeForce RTX 4070 SUPER」はVRAMを12GB搭載しており、画像生成AIなどの生成系AIも快適に動作させられます。GeForce RTX 4070 SUPERのリファレンス実装である「GeForce RTX 4070 SUPER Founders Edition」を借りられたので、実際に画像生成AIを動作させて編集部にある「GeForce RTX 3060」や「GeForce RTX 3090」と処理性能を比較してみました。 GeForce RTX 4070 ファミリ グラフィックスカード | NVIDIA https://www.nvidia.com/ja-jp/geforce/graphics-cards/40-series/rtx-4070-family/ GeForce RTX 4070 SUPERはGeForce RTX 407

結論まず結論から申し上げると、生成AIでのマンガ制作はめちゃくちゃ楽しかったです。そして、生成AI×漫画に非常に可能性を感じました。 生成AIがスキルや脳内イメージを超えたアウトプットを出すためか、作り手でありながら、読み手の感動も味わえるところが制作体験を底上げしていました。 生成AIでの漫画制作の強みは３つ。制作時間の半減と高品質な作画、それと作風が人に依存しない点です。３つ目の属人性がない強みは今まで不可能なレベルでのタスクの細分化と人海戦術を可能にするので非常に画期的だと考えています。 制作した漫画 全編生成AI作画のカラー漫画完成しました！！ 死んだ人がアップロードされる天国クラウドサービスで、人生を取り戻そうと奮闘する少年少女の甘酸っぱい物語です。 (1/5)#漫画が読めるハッシュタグ pic.twitter.com/jnBqspwccQ — 比留間 大地 Daichi Hir

11月27日、中国の北京インターネット裁判所で出された判決は衝撃的でした。なんと画像生成AI「Stable Diffusion」で作られたイラストの著作物性が認められたんです。「春風がそよ風を送る」と名付けられたAI画像につけられたウォーターマークを消して商売に使ったことは著作権を侵害しているとして、被告に対して500元（約1万円）の賠償金を払うよう命じています。 判決について、中国語の資料をジャック・ランランさんという方が翻訳して公開されているんですが、非常に驚くところもあれば、「ああなるほど」と理解できるところもありました。 AIイラストは「独創的」な「知的創造の成果」？ まず、判決としてはかなり大胆なことを言っています。 「中華人民共和国著作権法 第3条は、『この法律にいう「著作物」とは、文学的、美術的、および学術の分野における独創性を有し、かつ、一定の形式をもって表現することができ

Stability AIが画像生成AI「Stable Diffusion」を公開したのは2022年8月のこと。すさまじい勢いで発展してきた画像生成AIの1年を振り返ってみようと思います。 初めに見てもらいたいのは「これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした」で紹介した、KritaとGenerative AI for Kritaを組み合わせて作成した設定資料的な画像です。 キャラクターの3面図のサンプル。Vroidで簡単な3Dで当たり（左）として、右の画像を作成する。それを元に、プロンプトや画像に描き込んだりして、最終画像を作成していく。2枚目には前面図の頭部のカチューシャや、胸部分のフリルがなかったりするが、そこに色を加筆して、プロンプトで指示すると、最終画像にそれが追加されるのをリアルタイムに確認しながら修正できる（筆者作成） Stable Diffusi

Generative AI for Kritaのライブペインティング機能を実行している画面。左が筆者が描いた落書き。右が、その画像を線画（Scribble）としてAI生成した画像 11月13日掲載の記事「爆速化する画像生成AI」で紹介した新技術「Latent Consistency Models（LCM）」が大爆発しています。これは画像生成AIに2度目の革命を起こした「ControlNet」に次ぐ大インパクトではないかと感じています。「LCM-LoRA」（LoRAはStable Diffusion用の追加学習モデル）が11月下旬に登場したことで、リアルタイム生成のAI機能を組み入れたサービスやアプリの開発が一気に進みました。 なかでも、筆者にとってインパクトが大きかったのが、ペイントソフト「Krita」向けに開発された「Generative AI for Krita」。Kritaはスウェー

ポイント SDXL Turboは、新しい蒸留技術によって最先端の性能を達成し、これまでにない品質のシングルステップ画像生成を可能にし、必要なステップ数を50から1に削減 非商用研究ライセンスでのリリース(Hugging Faceのモデルウェイトとコードをダウンロードしてください。) Clipdrop にてベータ版を公開中 新しいテキスト画像合成モードである SDXL Turbo をご紹介します。SDXL Turbo は、敵対的拡散蒸留（Adversarial Diffusion Distillation：ADD）と呼ばれる新しい蒸留技術に基づいています。この技術により、SDXL Turbo は1つのステップで画像出力を合成し、高いサンプリング忠実度を維持しながらリアルタイムでテキストから画像への出力を生成することができます。技術的な詳細に興味のある研究者や愛好家のために、研究論文はこちらで

本日、私たちは Stable Video Diffusion を公開しました。これは、画像モデル Stable Diffusion に基づく最初の基盤モデルで、動画生成用です。 現在、研究プレビューとして公開されているこの最先端のAI動画生成モデルは、あらゆるタイプの人々のためのモデルを作成するための私たちの旅の重要な一歩を表しています。 この研究リリースでは、Stable Video Diffusion のコードを GitHub リポジトリで公開し、ローカルでモデルを実行するために必要なウェイトは Hugging Face のページで見ご確認いただけます。モデルの技術的能力に関するさらなる詳細は、私たちの研究論文で確認できます。 様々なビデオアプリケーションに適応 このビデオモデルは、単一画像からのマルチビュー合成など、様々なタスクに簡単に適応させることができます。私たちは、Stable

無料かつ高機能なペイントアプリ「Krita」に画像生成AI「Stable Diffusion」を組み込むプラグインが「krita-ai-diffusion(AI Image Diffusion)」です。Generative AI for Kritaを使えば落書きのような下描き画像から美麗イラストを生成できるとのことなので、インストール手順や使い方をまとめてみました。 GitHub - Acly/krita-ai-diffusion: Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required. https://github.com/Acly/krita-ai-diffusion ・目次 ◆1

今回は『ノイズ/テクスチャ法』を簡素化したテクニックを一つご紹介。 特定の色を指定することで、StableDiffusionの苦手とする"暗い絵"を出力できるようにします。 ごあいさつハッピーハロウィン！ ご無沙汰してます。御月 望未みつき のぞみです。 みなさんホラーは好きですか？　へぇ～お好きですか！それはよかった！ 今回はハロウィンにちなんでホラーにばっちり、"暗い絵"を出力するためのテクニックのご紹介です。 イラストAIにどっぷりはまっているお兄様お姉様ならご存じの事と思いますが、StableDiffusionくんは暗い絵が苦手……！ 出せない事はないのですが、夜を指定しても明るい照明が描かれてしまったり、背景は暗くなっても人物が明るく照らされてしまったりと、本格的にダークな絵を出そうとすると四苦八苦してしまうことがしばしば…… （テクニック未使用）普通に生成した場合、夜の街を指定

ControlNetって何？「そもそもControlNetって何？」という話をしていなかったのでまずそこから。ザックリ言えば「指定した画像で生成する画像の絵柄を固定する方法」だ。固定には構図だったり、絵の中に含まれる要素（Prompt）だったり、顔（の雰囲気）だったり、いろいろなものが含まれる。 現在、AUTOMATIC1111 v1.6のControlNetの項目を見ると、Canny、Depth、NormalMap、OpenPose、MLSD、Lineart、SoftEdge、Scribble/Sketch、Segmentation、Shuffle、Tile/Blur、Inpaint、InstructP2P、Reference、Recolor、Revision、T2I-Adapter、IP-Adapter…これだけの項目が並んでおり、初心者だと何が何だかさっぱり分からない。 本連載では、

Stability AIは11月17日、「Japanese Stable Diffusion XL」（JSDXL）を公開しました。 JSDXLは、テキストで記述されたプロンプトに応じて画像を出力するText-to-Imageモデルの最新版であるStable Diffusion XL（SDXL）を日本向けに特化させたAIモデル。 日本語を翻訳ではなく直接扱うことができるため、日本語特有の表現を認識し、日本の伝統的なものから現代的なものまで文化やアートを反映した高品質の画像を生成できるとしています。 ▲男子高校生のプロフィール写真（左: DALLE-3, 中央: 翻訳+SDXL, 右: JSDXL） ▲海岸沿いを走るライダー（左: DALLE-3, 中央: 翻訳+SDXL, 右: JSDXL） なお、JSDXLの学習データは、クリエイターから要求のあったオプトアウト、robots.txtや利用

Stability AI は日本に特化した text-to-image モデル「Japanese Stable Diffusion XL（JSDXL）」をリリースしました。商用利用可能な「JSDXL」は、日本語入力の対応に加え、日本スタイルや日本を題材とした画像を生成することができます。 Japanese Stable Diffusion XL 「Japanese Stable Diffusion XL（JSDXL）」は、最新の英語版 text-to-image モデルSDXLに対して、日本語入力はもちろん、日本の文化やものが理解・反映された画像生成に特化させた日本向け text-to-image モデルです。 昨今、SDXL を含む強力な text-to-image モデルが公開されております。これらと翻訳ツールを組み合わせることで日本語入力は可能ですが、日本特有の表現の認識が難しい点や

このところ画像生成AI界隈で話題になっているのが、「Latent Consistency Models（レイテント・コンシステンシー・モデル」（以下「LCM」）。10月6日に中国精華大学のシミアン・ルオさんが中心となって発表された論文で、日本語にすると「拡散的一貫性モデル」。新しいタイプの効率性の高い生成モデルを使い、Stable Diffusion＝安定拡散モデルより高速に画像を生成。結果としてビデオメモリーの少ないローレベルのPCでも画像生成AIを動かせるようにしようというものです。 0.5秒で4枚出力。Stable Diffusionの5倍 Stable Diffusionの拡散モデルは、ランダムなノイズ情報から、学習済みの特徴点データを利用することで、段々と画像を生み出していくサンプリングプロセスを繰り返します。それによって画像を生成する仕組みです。通常、1枚の画像を生み出すのに必

前回の記事では、StabilityAIの最新画像生成モデルStable Diffusion XL（SDXL）を簡単に使えるWebインターフェース「Fooocus」を紹介した。 画像生成AIの制御技術「ControlNet」でも知られる作者lllyasviel（Lvmin Zhang）氏の開発ペースはとても早い。前回の記事掲載後にも多くの便利な新機能が実装されたため、今回はこれらを紹介する。 「Fooocus」のインストール方法は前回記事を参照。一度インストールすればアップデートは起動時に自動でかかるため、利用者が意識することはない。 アップデートの内容についてはGitHub内のDiscussionsページを参照しよう。

肥満体形の男性と、可愛らしい女性のツーショット写真──そんな画像広告をX（Twitter）上で見かけたことはないだろうか。これは「オタ恋」というオタク同士の出会いを支援する恋愛マッチングアプリが展開するAI画像を使った広告だ。「このオタクカップル、絵面が濃い」と思わずツッコミを入れてしまいそうな内容で、じわじわと話題になっている。 オタ恋は2022年11月にサービスを開始し、23年5月から画像生成AIを使った広告を展開している。この広告の効果について、運営会社であるエイチエムシステムズ（東京都新宿区）は「男性は1.5～2倍程度、女性は3～7倍程度、入会者が増加した」と反響を話す。入会者数が増加した理由について、同社は「AI広告素材がバズる事により認知度が上がり信用が増した可能性がある」と分析する。 「マッチングアプリで女性が利用する際、安全性や信頼性、知名度などを重視する声が上位にきており

半年ほど前までであればGoogle Colabと言うクラウドGPU環境が使え、無料でサクッと動かせたのだが、それが災いし、多くの人が生成AI画像目的で利用したため、リソースが足らなくなり、後述するAUTOMATIC1111は無料枠で使用禁止になってしまった。 AUTOMATIC1111をインストールして使ってみる画像生成AIは各社が提供しており、扱うためのサービスやアプリもいろいろあるが、デファクトスタンダードはStable Diffusionを利用するためのフロントエンドにあたる AUTOMATIC1111だろう。現在は、次世代Stable Diffusion (SDXL)に対応したv1.6.0が公開されている。 ここではOSがWindows 11で、先に提示したNVIDIAのGPUが装着済の前提で解説する。少し前まではPythonやGitを入れたり、いろいろ面倒だったが、現在はbatフ