本記事は、画像生成AI Advent Calendar 2022 15日目を埋める記事です。 はじめに 画像生成AIは、学習した画像をコラージュした画像を出力しているのではないか、という議論があります。多くのモデルは勝手に収集した画像で学習（訓練）されているため、そのようなコラ画像が生成されていたら大問題です。 上の図を見てください。この図は、今月投稿された論文 [1] Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [Gowthami Somepalli+, arXiv 2022] の図です。上段がStable Diffusionの生成画像、下段が訓練データのサブセット（LAION Aesthetics v2 6+）中で一番似た画像です。生成画像の一部またはほぼ全部が

人工知能（AI）は、ウェブサイト制作を、根本から変えてしまうでしょう。 今のところ、AI画像生成ツールは、呪文（プロンプト）を唱える、ちょっとしたコツを覚えることで、以下のようなWebレイアウトを作成できます。 beautiful landing for spiderman website, design, ux/ui, ux, ui --ar 3:2 --v 4 --q 2 「花屋、フラワーショップ」をテーマにすると、一発でWebサイト向けレイアウトを錬成できます。 「日本」をテーマにすると、こんな美しいUIデザインに。 実際にAI画像生成ツールを使いこむうちに、少しずつわかってきた、AIツールでウェブサイトやUIデザイン画像を生成するコツを、メモ的にご紹介。 アップデート、継続していきます。 コンテンツ目次 ✨ AI画像生成ツールとは？ ✨ 唱える呪文（プロンプト）って何？ ✨ 画像を

SFマガジンの表紙をAI画像で担当させていただきました。 SFマガジン2023年2月号自分にとってもはじめてのプロジェクトだったので、もろもろのメイキング記録メモ。 きっかけTwitterで「AI画像生成のお仕事こないかなー」とつぶやいたら、SFマガジンさんからコンタクトが。 SFマガジンは、中高生の時に図書館で毎号読んでいたので、ビックリ！ 一も二もなく引き受けることに。 コンセプト設定まずはAIで作る表紙って、どういうのにしよう！？という方向性ぎめ。 編集さんとの初期ミーティングでは、「わりと自由にやってもらってOKよ」という言葉をいただきつつ… あわせてなんとなく「コンピューターおばあちゃん（サイバーパンクな人）」と「ニューロマンサーの表紙（旧版）的なの」みたいな、イメージをいただきました。 旧版のニューロマンサー。ウィリアム・ギブスン著。ニューロマンサーは、元祖サイバーパンク小説み

この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この１年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の１つである Stable Diffusion v1 について調べてみました！*1 では早速本題に入りたいと思います！ Stable Diffusion v1 とは？ Denoising Diffusion Probabilistic Model（DDPM） 学習時の動作 for

AUTOMATIC1111版Stable Diffusion web UI上でLoRAを利用する手順（Windows、VRAM 8GB以上、CUDA 11.6以上） ※本記事のLoRAは、あまり性能が良いとは言えませんのでご了承ください（お試しで学習方法を学びたい、程度であれば現在でも有効ですが、古い記事なので操作方法が変わっている可能性があります）。別のLoRAについて記事を公開した際は、こちらでお知らせします。 ※DreamBoothのextensionが古いままの状態で本体をアップデートすると、本体が起動できなくなる場合があります。ご注意ください。 ※東北ずん子さんの公式画像を学習した例が、「5. 学習例」にあります。先にそちらをご覧いただいても結構です。 ※LoRAは多少の動作確認しかできておらず、適切な設定や詳細については分かりませんし、内容も誤り等があるかもしれません。ご了承く

これは 画像生成AI Advent Calendar 2022 16日目の記事です。 2022年7月末頃、AIによるテキストからの画像生成が一気に広がって以降、あまりに急速な変化が日々続いています。こうした激動の中でも、日本ではアニメ調のイラスト生成への注目が強すぎて、AIの可能性や破壊力、未来などの話題が少なく感じています。 そこでAIがもたらしうる未来や応用などを考え、特に身近な人々へ向けて、わかりやすく紹介することにしました。AIの専門的な研究者ではなくSFのような未来予想ですがご容赦ください。 なおこの記事は、挿絵も含め全体をCC0 1.0で公開します。最大限自由な利用が可能で、転載や加工や販売も自由に行なえます。CC0として利用しやすいよう、引用や転載も含んでいません。 また挿絵は、解説用もお飾り用もすべて、素のStable Diffusionのみで生成しています。キャプションと

AI作画で同じキャラクターが出せないのはもう昔話だ! StableDiffusion2.1とDreamboothを使えば、オリジナルのキャラクターを学習させ、好きな時に呼び出すことができる。これはアツい! 作り方はとても簡単。まずは、普通にMemeplexかMidjourneyで作りたいキャラクターの特徴を指定する。仮に「坊主頭　忍者　サイバーパンク」的な要素で出てきた絵(ブーストモードが便利)の中から、イメージにあうやつをピックアップする。 坊主頭のサイバーパンク忍者　こやつらをMemeplexのもうすぐ一般公開される新機能のサブスク(noteの記事購入者には先行クーポン5000円分を配布中。noteの値段よりも高くてお得)にあるレベル3以上のユーザーが使えるカスタムモデル学習に突っ込む。 Memeplexのカスタム学習では、ベースにするモデルをStableDiffusion2.1(実写

２．モデルデータの一覧と修正コード　下記のモデルデータの一覧から、修正コード（モデルのダウンロードを指示するコード）を以下のコードの「!wgetで始まる修正コード」の部分に上書きすると、モデルデータが変更されます。一覧から修正コードをコピーして、Ctrlキー+vで該当部分に貼り付けてください。 !git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui %cd /content/stable-diffusion-webui 「!wgetで始まる修正コード」 !python launch.py --share --xformers --enable-insecure-extension-access　また、VAEを変更する場合は、操作画面立ち上げ後に、Settingsタブをクリックし、左側のStable Diffusi

AIを構築する上ではアルゴリズムだけでなく訓練用のデータセットも重要であり、データセットの質によってAIの精度も大きく左右されます。高精度な画像生成AIとして話題のStable Diffusionでは、「LAION-5B」という50億以上もの画像とテキストのペアを含むデータセットを用いています。 LAION-5B: A NEW ERA OF OPEN LARGE-SCALE MULTI-MODAL DATASETS | LAION https://laion.ai/blog/laion-5b/ 大規模な機械学習モデルやデータセット、関連コードなどの一般公開を掲げる「Large-scale Artificial Intelligence Open Network(LAION)」というドイツの非営利団体は、2022年3月に超巨大なデータセットである「LAION-5B」をリリースしました。LAI

（この記事は画像生成AI Advent Calendar 2022に投稿するために書きました） この記事では、AUTOMATIC1111さんのStable Diffusion WebUI を使って、生成した画像から、Depth画像を作成して、Looking Glass Portraitや、Meta Quest 2にデータを持っていき、立体視で楽しむための方法を説明します。 （なぜか、Twitterからことごとくセンシティブ判定食らってますが、センシティブな画像は含まれてないと…思います） #LookingGlassPortrait に出してみた。立体感がある感じの画像だととてもきれいにDepthが出る。例によりうまく伝わらないのですが。#anythingv3 #stablediffusion #AIイラスト pic.twitter.com/LN5HJN0y05 — Alone1M (@Al

(prompt: manga, monochrome, a cute girl with long white hair in the coffee shop) はじめに 今回、学習用Cool Japan Diffusionを紹介します。 どういう為のものなのか、どういうものなのか、どういうものが生成できるのかについて説明します。 学習用Cool Japan Diffusionの目的 このモデルは、Cool Japan DiffusionにStable Diffusionがもつ知識を与えるために作られています。 それというのも、Cool Japan DiffusionはStable Diffusionの派生モデルと違って、 ゼロベースで作られているカスケード型拡散モデルであるため、 まったく知識がありません。 このため、Stable Diffusionがもつ23億枚の知識のうち、よく使いそ

こちらは創作+機械学習 Advent Calendar 2021 の4日目の記事になります。 この記事は 「うすい」というものが『創作』に寄与するようなツールを機械学習・AI で作りたい気持ちで書いています。 機械学習は初学者です。丸二年やってまだなんも分からんくらいなので、大したことはできません。 去年のアドベントカレンダーでは NLP を投稿しましたが、夏には同人誌を出したりしました。……そして、今の流行はやはりStable Diffusionを中心とした『じぇねれーてぃぶ AI 』！ ということで、私もStable Diffusion の小ネタを投稿します。 対象者 この記事は、機械学習初心者・初学者向けです。理論や難しいことは省略します。 ただし、ある程度の IT 知識、今回のツールを指定したサイトを見ながら自分で環境構築出来るくらいの知識がある人に向けて書きます。 又、何らかの創

2022年12月7日、画像生成AIのStable Diffusionの最新版であるStable Diffusion 2.1（SD2.1）がリリースされました。 【参考】Stability AIのプレスリリース これを多機能と使いやすさで定評のあるWebユーザーインターフェイスのAUTOMATIC1111版Stable Diffusion web UIで使用する方法について解説します。 また、SD2.1を利用できる他のWebUIも紹介します。複雑な機能を求めないのなら、こちらの方が起動が早いので、おすすめかも知れません。 なお、SD2.1でなくても、このweb UIを使ってみたい人は以下のデモサイトを試してみてください。 〇 AUTOMATIC1111版Stable Diffusion web UIのデモサイト 1．SD2.1の概要　SD2.1は、先月（2022年11月）24日にStabil

追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入

題名：『文明開花・序』（この画像はパブリックドメインと加工自由な画像から作られています。 アルゴリズムはClean Diffusionと異なり、Imagenを用いています。） はじめに 今年、Stable Diffusionなどの画像生成AIが突然流行った結果、社会が混乱しました。具体的には、たかだか数ヶ月の間に 研究フェーズから実用フェーズへと移行し、倫理や法的整備も全く追いつかないままに 芸術の分野に雷鳴のごとく画像生成AIは現れました。 その結果、人々は画像生成AIに対する倫理や価値観に混乱しました。 その混乱の原因の一つに、 画像生成AIは他人の著作物を一方的に学習して、真似をできてしまう ことがあります。 そのことは 著作権者の利益を不当に害すること に繋がりかねません。 これを理由として、自分の画風をコピーさせるサービスmimic (β)の提供や CLIP STUDIO PAI

こんにちは。StableDiffusion2.0発表の際に、画像の深度情報を元に被写体の形状を損なうことなく画像生成を行うDepth to Image Diffusion Modelが公開されていましたが、試してみましたところ結構凄かったのでご紹介します。 早く触りてぇ！と言う方はhuggingfaceのデモ版が一番お手軽サクサクに試せると思いますのでどうぞ。 https://huggingface.co/spaces/radames/stable-diffusion-depth2img またhuggingfaceのデモでは解像度が512*512で固定されていますが、colab版では高解像度生成も可能でした。あとgithubはここ。 ちなみにざっと見た限りではAutomatic1111などのweb uiには今んとこまだ実装されてないみたいですね。検索するとDepthMapMaskとかmul

AIのニューウェーブがAdobe Creative Cloudに到来 「サンフランシスコ湾に浮かぶ海賊船」とタイプ入力すると、数秒後にドクロマークの帆を張ったガレオン船がゴールデンゲートブリッジの下を通過する画像が表示されます。このような技術は画像生成AI（ジェネレーティブAI）と呼ばれ、まるでユーザーの想像力がそのままコンピューターのスクリーンに映し出されたかのように機能します。 アドビは、他の多くのイノベーターと競うように画像生成AIを実験してきました。これは、アーティストにとってはブレーンストーミングや創造的な選択肢を探る方法を加速させる革新的なテクノロジーであると同時に、クリエイティビティにアクセスできる人口を数百万人単位で拡大させることにもなりました。 しかし、他の多くの新しいテクノロジーと同様に、画像生成AIについても正当な懸念点の数々が提起されています。例えば、AIモデルの学

画像生成AI「Stable Diffusion」がコンテンツ製作の技術革新を急速に促しているという話を「すさまじい勢いで世界を変えている画像生成AI」に書きました。あれから約2ヵ月が経ち、状況はさらに大きく変わってきています。 Novel AIソースコード流出事件 最も影響が大きかったのは10月8日に起きたとされる「Novel AI」のソースコード流出事件です。どういった形でハッキングされたのかは明らかにされていませんが、流出したとされるコードはおそらく本物だという結論になっています。 Novel AIは10月3日にサービスが開始された画像生成AIサービス。Stable Diffusionや「Midjourney」と比べても圧倒的に高品質な日本アニメ風の画像出力ができることにより、日本やアジア圏で高い人気を得ています。 Googleトレンドの傾向を見てみても、日本ではNovelAIがリリー