画像生成AIに“照明”革命 ControlNet開発者が作った「IC-Light」
画像生成AI関連の著名な開発者、lllyasviel（イリヤスフィール）氏が5月7日、生成AI画像の照明を自在に操作できるツール「IC-Light（Imposing Consistent Light）」を公開した。 2種類のモデルを公開 IC-Lightは画像の照明を操作するプロジェクト。前景画像（人物やオブジェクトなど）を入力し、プロンプトにテキストや背景画像を指定するだけで、まるで別の環境で撮影したかのような画像を得ることができるという。 現在、「テキスト条件付きリライティングモデル（text-conditioned relighting model）」と「背景条件付きモデル（background-conditioned model）」の2種類がGitHubで公開されており自由に試すことができる。 なお、作者のlllyasviel氏は「Stable Diffusion」のWebUIであ
Stability AI、「Stable Diffusion 3」とチャットbot「Stable Assistant」発表
英Stability AIは4月17日（現地時間）、画像生成AIの「Stable Diffusion 3」と「Stable Diffusion 3 Turbo」、AIチャットbot「Stable Assistant」を発表した。Stable Diffusionの新版はまだプレビュー段階だとしているが、開発者プラットフォームからアクセスできる。 Stable Diffusion 3に「Awesome artwork of a wizard on the top of a mountain, he's creating the big text "Stable Diffusion 3 API" with magic, magic text, at dawn, sunrise.」（夜明けに山頂にいる魔術師が、魔法で大きな「Stable Diffusion 3 API」という文字を日の出の光の中に
X-Adapter
TL;DR: X-Adapter enable plugins pretrained on old version (e.g. SD1.5) directly work with the upgraded Model (e.g., SDXL) without further retraining We introduce X-Adapter, a universal upgrader to enable the pretrained plug-and-play modules (e.g., ControlNet, LoRA) to work directly with the upgraded text-to-image diffusion model (e.g., SD-XL) without further retraining. We achieve this goal by tra
GitHub - lllyasviel/stable-diffusion-webui-forge
Stable Diffusion WebUI Forge is a platform on top of Stable Diffusion WebUI (based on Gradio) to make development easier, optimize resource management, and speed up inference. The name "Forge" is inspired from "Minecraft Forge". This project is aimed at becoming SD WebUI's Forge. Compared to original WebUI (for SDXL inference at 1024px), you can expect the below speed-ups: If you use common GPU li
(コード読み) Checkpoint Merger について調べる｜bbcmc
AUTOMATIC1111 に標準で付いている Checkpoint Merger の実装について調べる。 ※Checkpoint Merger で使用されているマージ処理について理解が不足していると判明したので、ちゃんと確認しておく。 extras.py run_modelmergerコードはこのあたり。run_modelmerger 関数がマージを処理している。 https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/311354c0bb8930ea939d6aa6b3edd50c69301320/modules/extras.py#L244 sd_models.py厳密にいえば、マージ前のモデルロードのやり方も関連する。 コードはこのあたり。sd_models 内でロードされるが、過去経緯からかマージ時のモデルロード
【AI画像生成】ComfyUIのAPIを使って物語の挿絵生成を試す｜Baku
ChatGPTが業務分担してゲームを作る「ChatDev」がすごく面白かった。 同じような発想で、エージェント化したAIが分業して漫画を作るアプリとかあったら楽しいので、誰か作って公開してほしい… …漫画はムリでも絵本くらいなら自分でもイケるかも、という安直な考えを抱いたので、とりあえずAPIの使い方を調べた。 「ChatDev」では画像生成にOpenAIのAPI（DALL-E）を使っている。手軽だが自由度が低く、創作向きではない印象。今回は「ComfyUI」のAPIを試してみた。 ComfyUIの起動まず、通常どおりComfyUIをインストール・起動しておく。これだけでAPI機能は使えるっぽい。 # ComfyUIのインストール !git clone https://github.com/comfyanonymous/ComfyUI %cd ComfyUI # 依存関係のインストール !
自分の絵でLoRAをつくってみた｜饗庭淵
Stable Diffusion、楽しいですよね。 なんかもう技術の進歩が早すぎて油断すると一瞬で取り残されてしまいがちです。この記事も書きながら「すぐに古くなってしまいそうだな……」と思ってます。 LoRAを使って自分の画風を学習させるまで今回は追加学習の手法であるLoRAを試してみた内容を紹介します。 LoRAとは……いえ、なにも詳しくないので下手に説明すると嘘を書いてしまいそうですが、ざっくりいうと……。 Stable DiffusionのモデルデータはだいたいGB単位です。 一方、LoRAは元モデルとの差分データをつくるのでだいたい150MBくらいで済むという代物です。 追加学習で元モデルとマージする形だとGB単位のデータをたくさんつくることになってしまうので、LoRAが便利というわけです。 これでなにができるかというと、たとえば特定のキャラの特徴を学習させることができます。これは
Create Your DRY CRYSTAL ART | DRY CRYSTAL
チルってる自分、仕上がってる自分、アガってる自分、オシャンな自分。自分がサイコーに輝いている瞬間や気分を入力して、自分だけのオリジナルAIアートを生成しよう。
絵柄の批判で「マスピ顔」という言葉を見かけるけどなに？→賛美の言葉が逆転する現象が起きてるみたい
月見ねぎとろ＠3Dモデラー/動画・シナリオ屋さん @tukimi_negitoro もひゃー！漫画/シナリオ/映像作家/３Dモデラー。 モデリング依頼受付しています。動物キャラとか学習漫画やメカ物がすき。 #月見山ラボ pixiv.net/member.php?id=… 月見ねぎとろ＠3Dモデラー/動画・シナリオ屋さん @tukimi_negitoro 最近、絵柄の批判でたまに見かける「マスピ顔」って言葉は何？って思って調べたら、画像生成AIのプロンプトに「masterpiece(＝傑作)」と入力すると出力されがちな顔の事らしく、つまり人々が傑作だと賛美した絵の平均的な顔が濫用されて陳腐化、賛美の言葉が逆転する現象が起きてるらしい…おもしろ。 2023-09-24 11:56:47 月見ねぎとろ＠3Dモデラー/動画・シナリオ屋さん @tukimi_negitoro 今となっては典型的AI絵
GitHub - Bing-su/adetailer: Auto detecting, masking and inpainting with detection model.
(from Mikubill/sd-webui-controlnet) Open "Extensions" tab. Open "Install from URL" tab in the tab. Enter https://github.com/Bing-su/adetailer.git to "URL for extension's git repository". Press "Install" button. Wait 5 seconds, and you will see the message "Installed into stable-diffusion-webui\extensions\adetailer. Use Installed tab to restart". Go to "Installed" tab, click "Check for updates", an
8-bit optimizer（bitsandbytes）をWindows（非WSL）で動かす｜Kohya S.
概要学習の省メモリ化に有効なbitsandbytesの8-bit optimizerですが、Windows用のDLLが提供されていないためそのままでは動きません。 以前の記事に8-bit optimizerをWindows（非WSL）で動かす方法について書きましたが、わかりやすいように記事として独立させました。 手順仮想環境等を適宜設定しておいてください。 bitsandbytesのインストールpipでインストールします。Windows対応のための変更スクリプトが0.35.0でしか動かないため、バージョンを指定してインストールします。 （10/28現在。将来的にはbitsandbytesがネイティブでWindowsに対応してくれることを期待します。） pip install bitsandbytes==0.35.0Windows用DLLのダウンロードとコピーこちらのissueを参考に、有志
AIお姉ちゃんへの道 - nomolkのブログ
ちょっと前に話題になっていたこの記事を読んだ。 honeshabri.hatenablog.com へー真似しよ〜と思ってやってみたら意外に難しくて謎のやりがいを感じ始めてしまい、仕事のクソ忙しい時期にかなりハマり睡眠不足で生命の危機を味わった。 おかげで寿命と引き換えに自分のAIお姉ちゃんを手に入れることができた。これは黒魔術か何かなのだろうか。 一通り終えて振り返ってみると、今まで生成AIをあまり積極的に触ってこなかった自分にとってはちょうどいい難しさの課題で、これは入門者向けのチャレンジとしてかなり良い気がする。 元記事に書かれていない少し細かい手順も含めてやったことを記録としてまとめようと思う。 初心者が試行錯誤でやったことなので誤りや非効率な手順もあるかもしれないけどご了承ください。 AIお姉ちゃんの姿を作る 元記事では「魂」、つまりChatGPTの設定から始まっているけど、それ
誰でもわかるStable Diffusion kohya_ssの追加パラメータを解説 - 人工知能と親しくなるブログ
以前の記事でkohya_ssの各パラメータについて解説しました。 hoshikat.hatenablog.com 別に万人向けの有益な情報として書いたつもりはなかったんですが、最近になってこの記事へのアクセスが多くなってきたため、需要はあるのかなあと思う一方、進歩の著しいkohya_ssの最新バージョンから見ると数カ月前に書かれたこの記事は情報が古い部分もあります。 そこで今回は、kohya_ssの前回から変わった部分を補足解説していこうと思います。 今回解説するkohya_ssのバージョンはv21.8.8です。 kohya_ssの基本画面 追加学習タブ Utilitiesタブ Aboutタブ LoRAタブ内の構造 Trainingタブ Toolsタブ Guidesタブ Trainingタブ内の構造 Source modelタブの変更点 Foldersタブの変更点 Parametersタブ
誰でもわかるStable Diffusion リージョナルプロンプト - 人工知能と親しくなるブログ
コメントでリクエストをいただいたので今回はStable Diffusion WebUIの拡張機能として提供されている「リージョナルプロンプト」について解説します。 (リクエスト引き続きお待ちしてます) ※このブログを読まれている方はもうご存じだと思いますが、この記事は「いい絵を生成する方法」は解説していません。あくまで「しくみ」の解説であることをご了承ください。 リージョナルプロンプトとは リージョナルプロンプトのはたらき Latent Couple Attention Couple プロンプトが画像になるしくみをおさらい テキストエンコーダーの仕事 Attentionブロックの仕事 Attention CoupleでK、Qをすり替え どっちがいいの？ まとめ リージョナルプロンプトとは Stable Diffusionに絵を描かせるとき、どんな絵を描きたいかを英語のテキストで指定します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
From one Reference Image to Three Views | Civitai
GitHub - layerdiffusion/LayerDiffuse: Transparent Image Layer Diffusion using Latent Transparency
【西川和久の不定期コラム】 Stable Diffusion高速化の決定版登場！？品質落とさず制限もほぼなしで2～3倍速に
NVIDIA、Stable Diffusionを倍速にするTensorRT。新ドライバで対応
GitHub - jllllll/bitsandbytes-windows-webui: Windows compile of bitsandbytes for use in text-generation-webui.
GitHub - bmaltais/kohya_ss
