画像生成AIに2度目の革命を起こした「ControlNet」 (1/4)

画像生成AI「StableDiffusion」の進化が止まりません。昨年8月にオープンソースとしてリリースされてから、世界中のプロアマ問わず多数の人たちが様々な研究成果を反映させ、毎日と言っていいほど新機能を誰かが発表するという状況が起きています。 StableDiffusion登場当初は、画像の品質のランダム性が高く、構図やポーズなどを指定できないという弱点を抱えていました。1枚の画像をもとに画像を生成する「i2i（image2image）」である程度コントロールすることはできても、「キャラクターに特定のポーズをとらせる」といったことは非常に難しかったんですね。 その状況を一変させる新機能が今年2月に登場しました。その名も「ControlNet」。プロンプトによる制約を克服するための、とてつもないポテンシャルを持つ技術でした。Stable Diffusionに次ぐ「2度目の炸裂」と言って

[Nekzuk]

ControlNetはとりあえずsoftedge, openpose, tile, reference_onlyの４つから覚えればいいと思う。 全部知りたいならこの辺読め、多分日本ならこれが一番詳しい記事だ。https://www.ultra-noob.com/blog/2023/14/

[MIZ]

Style2Paintsの人だったのか。びっくり。

[shields-pikes]

作画力の有無に関わらず、脳内に実現したいビジョンが明確にある人が、1人で作品をガンガン作れる時代になるんだな。これらの技術が定着したら、新時代の新海誠みたいな作家がどんどん出て来ると思う。楽しみだ。

[shunkeen]

技術センスがすごいと感じる。ベースのモデルを固定して、横付けしたモデルだけ学習させてるから、ベースをファインチューニングした別のモデルに差し替えても、そのままControlNetが動くって、そんな疎結合ありかよ。

[spark7]

確かにすげえな。 / 驚き。『髪のはねかたとか、毛先の乱雑さとか、ガタガタの線までコピーされて、俺の３０年ぐらいの画業、１枚絵から学習できるんだ……ショックと言うより「すげえなあ」しか出てこない』

[akagiharu]

スマホやノーパソで実行できるレベルにしてほしいわ

[cardiogram]

イラストなどグラフィックの分野でAIを使わないのは表計算ソフトを拒否するに等しい

[toaruR]

折角デモするならもっと分かりやすいポーズにしてくれれば(・ω・)

[Helfard]

そっくりな別人を大量生産する技術と同一人物を大量生産する技術には大きな段差があるように思うが、それはそれとしてTRPGとかWizardryのキャラグラには現時点で大きな寄与がある気がする。

[OTAKUPAPA]

同じ人物に同じ服装で色々な表情やポーズをとらせて異なる場所で違和感なく会話するシーンを簡単に作れるようになって、小学生でも大人顔負けのストーリー漫画が制作できるようになってからが本当のAI革命の始まり

[yarumato]

“Stable Diffusion自体もControlNetの新機能も高いマシンパワーを要求するため、手を出しにくいという側面はあるんですよね。”

[shira0211tama]

凄いけどマシンスペックと試行回数と時間がかかるというのがちょっと触った感想。フルカラーはまだしもモノクロは書いたほうが早い。

[arapro]

僕はついてゆけるだろうか　AIがいる世界のスピードに

[skel]

ChatGPT研究所とかいう眉唾メディアより遥かに有用な記事だな。

[diveintounlimit]

うーんムーアの法則はもう壊れてるから、ブレイクスルーが無い限りは「お手元のノーパ」で動くのは10年後とかかなぁ

[everybodyelse]

なるほど。これならえっちなポーズもとらせ放題と…。なるほど…。

[sun330]

神奈川県沖浪裏という名画がただの素材として扱われるのに悲しさや切なさを感じるのは自分だけなのかなあ…。

[kuzumaji]

Style2Paintsの人だったの！？

[raitu]

画像生成AIで出したい画像をより意図的に制御できるようになったという話。ただし強力なPCが必要なことは変わらずと。2月ぐらいから話題になってた話だが、その定評が成立し始めたということかな

[kkobayashi]

画像生成AIのニュースはすげーしか出てこんな

[gnoname]

TRPGがって言うけど主流のChaosium(CoC)自体AIイラスト弾いてるの知らなさそう

[cvtbgspuda]

すごい

[mamma_mia_guangzhou]

“チャンさんはもともと香港中文大学で、白黒のイラストに着彩するAI技術「Style2Paints」を研究していた。現在は、2022年に米スタンフォード大学の博士課程に進み、画像生成AIの研究室に所属しているようです。”

[wdnsdy]

reference_onlyがすごいと言われてるが、合うモデルがないと自分の絵柄をトレースしたような絵はなかなかできない。俺のキャラのファンアート的な絵がどんどん量産されるだけになってしまう（それはそれで楽しいが）

[Cru]

俺もやる

[Mecoysvase]

絵柄そのままにパターン出せるreference_only面白くて時間溶けるがまた絵師が発狂しそうだなとは思った。と言ってる隙にmasaCtrlという同一性保持したまま別視点まで作れるやつも出てきた

[srng]

古いミドルスペックで騙し騙し遊んでるけどPC新調したくなる。ゲームは最近コンソールで十分なんだけどなあ

[enderuku]

(´・ω・｀)やりたいけど自分で環境用意する根気ないからWebサービス待ちかな

[haccian]

にんげん、いらなくなっちゃうね

[omori_masayuki]

reference-onlyほんとやばすぎて神の怒りに触れそうなところまできてる

[aneet]

ControlNetの作者すごいなと思ったが、スタンフォード大学の人やったんか。

[catan_coton]

cnは凄い。凄いんだけどガチャを回す楽しみは無くなるのがね…

[hetoheto]

色々触ってるけど結局まだマシンパワー（札束）が必要なのと導入が色々めんどい。けど1年くらいでスマホやwebサービスで使えるようになると思う。そっからが本格的な民主化&混乱が起きるやろね

[anigoka]

爆速進化中のCNもそうだけどエクステンション含めて1111のUIの殆どがまだ俺にとって謎のままだよ…

[queeuq]

10-20年後にはスマホどころか今で言う時計型デバイスですらそのスペックの向上によりこれが実行できるんだろうなと。今特許取るのは強そう

[timetrain]

井上純一先生のあのツイートは衝撃的だった・・

[tohima]

すごいな…