8-bit optimizer（bitsandbytes）をWindows（非WSL）で動かす｜Kohya S.
概要学習の省メモリ化に有効なbitsandbytesの8-bit optimizerですが、Windows用のDLLが提供されていないためそのままでは動きません。 以前の記事に8-bit optimizerをWindows（非WSL）で動かす方法について書きましたが、わかりやすいように記事として独立させました。 手順仮想環境等を適宜設定しておいてください。 bitsandbytesのインストールpipでインストールします。Windows対応のための変更スクリプトが0.35.0でしか動かないため、バージョンを指定してインストールします。 （10/28現在。将来的にはbitsandbytesがネイティブでWindowsに対応してくれることを期待します。） pip install bitsandbytes==0.35.0Windows用DLLのダウンロードとコピーこちらのissueを参考に、有志
Stable DiffusionのU-Netでブロックごとに異なるプロンプトを与えて画像生成する（ブロック別プロンプト）｜Kohya S.｜note
はじめに※1/10追記：コメントでご指摘いただきましたが、キャプションが有効（CrossAttentionが存在する）なのはblock 1, 2, 4, 5, 7, 8, 12, 16 ~ 24です。他のblockのキャプションは無視されます。確認が足らず失礼いたしました。 ご指摘いただいたgcem156氏に感謝します。 U-Netの構造については以前の記事に書きました。 U-NetはText Encoderからの出力を受け取り、それに沿うように（プロンプトを再現するように）画像生成を行いますが、Text Encoderの出力はU-Netのブロックそれぞれに渡されます。つまり25個のブロックそれぞれで受け取っていることになります。 通常はそれぞれが同じプロンプトの情報（conditioning）を受け取りますが、別々にすることも可能ではないか、ということで試してみたのがこの記事になります。
Stable DiffusionのモデルをU-Netの深さに応じて比率を変えてマージする｜Kohya S.
概要Stable Diffusionでは、複数のモデルの重みをマージすると中間的な出力が得られることが知られています。 以下の比較結果が大変参考になります。 また（ざっくりとした私の理解では）Stable Diffusionは大きくText Encoder (CLIP)、Denoising Auto Encoder (U-Net)、Auto Encoderからなります。このうち、U-Netが画像をノイズから画像を生成する部分担当しています。 U-Netは広く使われているネットワーク構造で、構造がその名の通りU字型（V字型）をしています。 またU-Netに限らず一般的に、ニューラルネットワークでは浅い層が細かいディテール部分を認識し、深い層が全体の構造を認識するといわれています。 そこで、U-Netの深さに応じてマージ比率を変えてマージすると、単純にマージしたのとは異なる結果が出るのではない
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
