原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - Zuntan03/CharFramework: AI画像生成でキャラクターの扱いをしくみ化してフレームワークにしてみる
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
「Stable Diffusion（ステーブル・ディフュージョン）」では、プロンプト（呪文）を入力することによってさまざま登場人物を描いてもらうことができます。しかし、プロンプトを入力するだけでは自分の想像と違ったポーズをとった人物の画像が生成されてしまうことが多々あります。
2月10日に、人物のポーズを指定してAIイラストの生成ができるControlNetの論文が発表され、すぐにStable Diffusion用のモデルがGitHubで公開されて、ネットで話題になっています。 今回、このControlNetをWebUIに導入して使用する方法を紹介します。 (2023/03/09追記）WD 1.5 Beta 2用のControlNetの使用方法を追加しました。 (2023/04/18追記）WebUI用ControlNet 1.1のColabノートへのリンクを追加しました。 １．ControlNetの概要 ControlNetは、入力画像の構造を維持したまま別の画像に変換することができる画像生成AI技術です。 例えば、棒人間のような3Dモデルを使用して、キャラクターのポーズや構図を指定したイラストを生成したり、入力画像から輪郭線、深度、セグメンテーションなどの情報
Reddit - Dive into anything
Welcome to the unofficial Stable Diffusion subreddit! We encourage you to share your awesome generations, discuss the various repos, news about releases, and more! Be sure to check out the pinned post for our rules and tips on how to get started! Prompt sharing is highly encouraged, but not required.
Stable Diffusion WebUIにControlNetを導入して好みのポーズの二次元少女を生み出す
環境 Windows 11 64bit Chrome 110.0.5481.178 Stable Diffusion WebUIをインストール Python 3.10.6をインストール Add Python to PATHをチェックするのを忘れずに Gitをインストール ZIPファイルをダウンロード ZIPを解凍し、解凍先のフォルダを開いてwebui-user.batをダブルクリックして起動 未認証アプリの確認が出るので、「詳細情報」をクリック アプリ：webui-user.batと表示されているのを確認して「実行」をクリック コマンドプロンプトが起動し、必要なソフトウェアがインストールされる 画像のような表示が出たら、赤枠のアドレスにブラウザでアクセスする （ctrlキーを押しながらURLをクリックするとブラウザが開く） ブラウザに以下の様に表示される StableDiffusionを使
ControlNet image sequence 2 image sequence script v2 Added TemporalNet controlnet model support. Using this, it is possible to increase consistency between image sequences by inputting images from previous frames. Download the model file from here and put it in the same location as your other controlnet models. diff_control_sd15_temporalnet_fp16.safetensors · CiaraRowles/TemporalNet at main (huggi
としあきdiffusion Wiki*
ControlNetとは 概要 この技術のこと。プログラムの主な作者はlllyasviel 氏 https://github.com/lllyasviel/ControlNet 上記のものをStable Diffusion web UI向けに拡張機能化したものが、 sd-webui-controlnet 制作者はMikubill氏 img2imgの多機能追加版みたいな機能 5ちゃんねるでは「CN」と略して呼ばれることがある。 ControlNetのメリット
【Stable Diffusion】拡張機能「Mov2Mov」を使ってアニメ動画を作ってみよう！【Multi ControlNet】
こんにちは！悠です！ 少し前、Redditでかなり有名になった下の動画をご存知でしょうか？ I transform real person dancing to animation using stable diffusion and multiControlNet by u/neilwong2012 in StableDiffusion 女性が踊っている実写の動画を素材にして、アニメイラスト風の女の子が踊っている動画に変換していますよね。 これは、今回紹介する動画を素材にして別の動画を生成する拡張機能「Mov2Mov」とMulti ControlNet（下の記事で紹介）の組み合わせで実現しています。 【Stable Diffusion】Multi ControlNetを使って複数のモデルを組み合わせ、複雑な画像の構図を制御するやり方！「Stable Diffusion」の拡張機能「Con
2023/05/13 (更新日: 2023/09/29) 【Stable Diffusion】手・指だけ修正できる拡張機能『depth library』の使い方！ AIイラスト ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。 Stable Diffusionのイラストで指がうまく描けない ガチャ回しまくるのめんどくさい なんか便利な拡張機能ないの？ こういったお悩みにお答えします。 Stable Diffusionは手や指を正確に描くのがとても苦手です。指が4本になったり変な形になったり。 そのせいで何回もガチャを回すことになり、時間ばかりが過ぎ去っていくことも。 この記事では 【Stable Diffusion】手・指だけ修正できる拡張機能『depth library』の特徴とは？ depth libraryの導入方法 depth libraryの使い方 もっとスム
【Openpose Editor】ControlNetと連携して棒人間をリアルタイム編集できる拡張機能！【Stable Diffusion】
気になったゲームの攻略情報、PCの豆知識、様々なガシェットのレビューなどを紹介してます！その他にも管理人の趣味をいろいろと書き綴っています。
画像生成AIの世界では毎月のように……どころか毎週のように革新的な技術が登場してます。 速度が速すぎて追いきれない！！！ って人はたくさんいると思うので、これは革新的な機能と思った内容をそれを解説している記事の紹介と合わせて記載していこうと思います。 ぶっちゃけ自分用備忘録を兼ねてのメモなので何かの役に立てれば幸いです！ ……あ、追加学習やモデル作成方面は沼すぎるのでライトに扱う方向けの情報です！ ★随時更新予定★ →3/28の情報を反映 おすすめ度：★★★★★ ControlNethttps://github.com/Mikubill/sd-webui-controlnet ControlNetの登場によって画像生成AIでは思い通りの構図を指定していできないという常識が打ち破られた！ ボーン人形によるポーズの指定から、落書きからの画像生成、線画への色塗りetc... これ一つで世界が変わ
【Stable Diffusion】手や指を修正できるControlNetの拡張機能「Depth map library and poser」の使い方を紹介！
こんにちは！悠です！ 今回は「Stable Diffusion」で、生成したAIイラストの手や指を簡単に修復できる拡張機能「Depth map library and poser」の使い方について紹介していきます。 この拡張機能はControlNetと連動して機能するため、まだ未導入の方は下記の記事を参考にして導入しておいてください。
GitHub - pkuliyi2015/multidiffusion-upscaler-for-automatic1111: Tiled Diffusion and VAE optimize, licensed under CC BY-NC-SA 4.0
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Stable Diffusionを利用しているとき、「思った通りの画像が生成できない…」、「もう少し精度高く画像生成できないかな」、「ControlNetって聞いたことあるけど、何ができるの？」今回は、そんな方の悩みを解決します！ Stable Diffusionを用いた画像生成は、上手くプロンプトを認識しなかったり、プロンプトが反映されないことがあると思います。そういった際に、『ControlNet』という拡張機能がとても便利です。 ControlNetを使用する際の動作環境について、メモリ不足の低VRAMでも動作報告例はありますが、通常よりもVRAM消費量が増加するので注意してください。
Character bones that look like Openpose for blender _ Ver_96 Depth+Canny+Landmark+MediaPipeFace+finger
Character bones that look like Openpose for blender Ver96 Depth+Canny+Landmark+MediaPipeFace+finger + customizable body mesh This time I added a box depth model for LosseControlDepth. Compared to regular Depth, it has more flexibility inside the volume. https://civitai.com/models/232042/loosecontrol-use-the-box-depth-map-to-control-the-protagonist-position Character bones that look like Openpose f
ControlNet初心者教本 改訂版｜かたらぎ
０：ControlNetとは ControlNet(コントロールネット)とは画像などを下地にしてポーズや構図、画像の雰囲気を抽出し、画像の生成時に参照する仕組みです。この時利用する仕組みのことをプリプロセッサ(preprocessor)といいます。 下の画像は人間を棒人間のような線で抽出するopenposeの例です。このようにポーズをまねたりすることができます。 コントロールネットopenposeの例１：コントロールネットの導入 まずは、SDWebUIから「拡張機能」を選択して「URLからインストール」を選択してください。「拡張機能のリポジトリのURL」に以下のURLをコピー＆ペーストしてください。あとはインストールを押すだけです。 https://github.com/Mikubill/sd-webui-controlnet インストールが完了したら「インストール済み」タブに戻って「適用
画像から姿勢・セグメントを抽出し出力画像に反映させるcontrolnetには、姿勢・セグメント認識処理の種類が複数あるため、各Preprocessorの特徴を知ると用途に応じて適切に使い分けることができるようになります。 ControlNet ver1.1に伴い大幅な加筆修正を行いました。 Preprocessorが20以上増加したため、ページが大変長くなってしました。 ここではt2i用モデルのみ実演しています。i2i用のInpaint系はノータッチです。 ご了承ください なお、v1.1用モデルはこちらからダウンロードしてください。 fp16,safetensors版で問題ありません（723MBくらいのやつ) モデル配置場所はこちらです。
「長いプロンプトを入力するのが面倒だ・・・」 「ある画像のスタイルや構図を参考にした画像生成を行いたい」 このような場合には、ControlNetのShuffleがオススメです。 この記事では、ControlNetのShuffleについて解説しています。 本記事の内容 ControlNetのShuffleとは？Shuffleの利用方法 それでは、上記に沿って解説していきます。 ControlNetのShuffleとは？ Shuffleとは、画像を再構成するControlNetのモデルです。 再構成については、次の画像を見れば理解しやすいかもしれません。 アップロードした画像を、グニャグニャと一旦溶かします。 それを固める（再構成）とアプロードした画像に近い画像が生成されます。 正直、この説明でも意味不明なところがあるかもしれません。 わかりにくいShuffleを言い表すのに、ピッタリの言葉
ControlNet in 🧨 Diffusers
Ever since Stable Diffusion took the world by storm, people have been looking for ways to have more control over the results of the generation process. ControlNet provides a minimal interface allowing users to customize the generation process up to a great extent. With ControlNet, users can easily condition the generation with different spatial contexts such as a depth map, a segmentation map, a s
「セグメンテーションとOpenPoseによる構図制御を同時に行いたい」 「ControlNetによる入力を複数同時に行いたい」 このような場合には、Multi ControlNetがオススメです。 この記事では、Multi ControlNetについて解説しています。 本記事の内容 Multi ControlNetとは？Multi ControlNetの利用方法 それでは、上記に沿って解説していきます。 Multi ControlNetとは？ Multi ControlNetとは、複数のControlNet入力を可能にする仕組みです。 ControlNetについては、次の記事で説明しています。
「web UIでSDXL 1.0用のControlNetはもう利用できるの？」 「ControlNet用モデルが多くて、意味がわからない・・・」 このような場合には、この記事の内容が参考になります。 この記事では、SDXL 1.0版ControlNetの利用方法を解説しています。 本記事の内容 SDXL 1.0版ControlNetSDXL 1.0版ControlNetのインストールSDXL 1.0版ControlNetの動作確認 それでは、上記に沿って解説していきます。 SDXL 1.0版ControlNet SDXL 1.0版ControlNetとは、SDXL 1.0用のControlNetを指します。 ControlNetについては、もう説明は不要ですね。 もしControlNet自体を知らない場合は、以下をご覧ください。 このControlNetですが、SDXL 1.0版がweb
GitHub - fkunn1326/openpose-editor: Openpose Editor for AUTOMATIC1111's stable-diffusion-webui
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
3D Openpose Editor
1枚の写真からTiktokトレンドダンスを躍らせる動画生成AI「DisCo」。Microsoft含む研究者らが開発【研究紹介】
TOPコラム海外最新IT事情1枚の写真からTiktokトレンドダンスを躍らせる動画生成AI「DisCo」。Microsoft含む研究者らが開発【研究紹介】 1枚の写真からTiktokトレンドダンスを躍らせる動画生成AI「DisCo」。Microsoft含む研究者らが開発【研究紹介】 2023年7月28日 シンガポールの南洋理工大学とMicrosoft Azure AIに所属する研究者らが発表した論文「DISCO: Disentangled Control for Referring Human Dance Generation in Real World」は、1枚の静止画から人物が踊るリアルなビデオを生成する手法を提案した研究報告である。この手法は、TikTokの動画でトレーニングされており、画像内の人物を動かしてTiktok風のダンスを自動生成することができる。 「DisCo」と呼ぶこの
ControlNet: A Complete Guide - Stable Diffusion Art
Updated March 16, 2024By AndrewCategorized as Tutorial Tagged ControlNet, Extension, Img2img 80 Comments on ControlNet: A Complete Guide ControlNet is a neural network that controls image generation in Stable Diffusion by adding extra conditions. Details can be found in the article Adding Conditional Control to Text-to-Image Diffusion Models by Lvmin Zhang and coworkers. It is a game changer. You
複数キャラ画像の生成
マスク指定が見やすいように、元画像に説明用の色を付けています。 実際に試す際には色を付ける必要はありません。 奥にあるモノから生成するのが基本ですので、本来はまず背景を用意するのが推奨です。 実際、きららジャンプ では先に背景を生成していました。 シンプルな背景を好まれる方も多いでしょうし、今回はとりあえずグラデーションを置いておきつつ、あとから背景を差し替えてみます（色化けが発生しました）。 高速な安定版として Forge を使用 しています。 モデルは ebara_pony_2.1 です。 Download/Model/ebara_pony.bat でダウンロードできます。 背景のみ WAI-REALMIX を利用しています。 forge は Hyper-SD <lora:Hyper-SDXL-8steps-lora:1> を使って、CFGスケール を 1.0 にすると大幅に高速化しま
またAIの話です。 頻繁に話題にしたいものが次々出てくるくらい、進化のスピードが早いのです…。 今回紹介するのはControlNet。 新しい画像生成のコントロール方法です。 既存の概念で例えるとimage to imageに近いものではあるんだけど、より繊細かつ自由度の高いコントロールが可能になっています。 これにより、今まではPromptでコントロールしていた「構図」や「ポーズ」をもっと簡単にコントロールできるようになり、凝った構図であるにも関わらず、Promptには大したことが書いていない、なんて画像が生成できるようになりました。 これまでのAI絵とは、Promptとパラメータさえわかれば同じ画像を生成できるものでしたが、その時代が終わりました。 これからは自分でベースとなる素材を用意することで、Promptでは再現できないような構図・ポーズ・アングルなどを高い強度で指定することが出
"collections.OrderedDict", "torch.FloatStorage", "torch._utils._rebuild_tensor_v2" What is a pickle import?
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化 - 週刊アスキー
GitHub - lllyasviel/IC-Light: More relighting!
｢ControlNet｣の導入とその使い方【Stable Diffusion web UI】
ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】
ポーズ指定ができるControlNetをAUTOMATIC1111版WebUIで使う方法｜IT navi
ControlNet Poses | Upload ControlNet Poses & Maps
ControlNet image sequence 2 image sequence script v2
【Stable Diffusion】手・指だけ修正できる拡張機能『depth library』の使い方！
【画像生成AI】★3/28更新版★webui世界が変わったこれは入れておけ拡張機能の紹介｜ステスロス
Stable Diffusion『ControlNet』の使い方ガイド！導入・更新方法も
ControlNetの全Preprocessor比較＆解説 用途ごとオススメはどれ？
【ControlNet】画像をプロンプトとして利用できるShuffle
Multi ControlNetによる画像の構図制御
【SDXL 1.0】ControlNetをweb UIで利用する方法
ControlNetを使って構図をコントロールする
lllyasviel/ControlNet-v1-1 at main