Stable Diffusion から特定の概念を忘れさせる学習を行ってみる
TL;DR ESD の手法で LoRA を学習してみたらそれっぽい感じのことができたよ VRAM 8GB で余裕で学習できるようになったよ (元は20GB要求) LoRA として保存できるようになったので重みの取り回しが良くなったよ マイナス適用によって、概念を削除するだけでなく強調することもできたよ 一度でも画像生成 AI に触ったことがあると、より楽しんで読めると思います。 論文とかどうでもいいから学習方法知りたい！ という方は 実際に学習してみる へどうぞ！ 今回作成したもの コード: モデルなど: 前提 Stable Diffusion とは、Stability AI らが公開したオープンソースの画像生成 AI であり、テキストによる指示で様々な画像を生成することができる。 本来の Stable Diffusion は、実写画像や海外風のイラストを出力することが得意だが、アジア系の
世界を変えた画像生成AI、さらに進化「Stable Diffusion XL（SDXL）」いよいよ正式公開 (1/4)
Stability AIは6月26日、画像生成AIの最新モデル「Stable Diffusion XL」を発表しました（「画像生成AI『Stable Diffusion』最高性能の新モデル『SDXL 0.9』一般的なPCで実行可能」）。パラメーター数がオリジナルのStable Diffusionの9億から23億へと大幅に拡大され、描写力が飛躍的に上昇したモデルです。正式版のSDXL 1.0が7月18日に公開予定とあり、あらためて注目されています。ベータ版にあたるSDXL 0.9は先行して、有料課金サービス「DreamStudio」と、Discordでの公開を開始していました。Discordでは1人無料で1回出力可能で、いまもリアルタイムで生成画像が見える状態です。その後SDXL 0.9は研究用に公開されて、ダウンロード可能になりました。 大きな違いは「2回生成する」こと SDXLがこれまで
AIイラスト生成技術にまた衝撃 キャラのポーズが自由自在の「ControlNet」登場
AIでのイラスト生成時、キャラクターに自由なポーズを取らせることができる──そんな新技術が話題だ。その名は「ControlNet」。2月10日に論文が投稿されると、数日後にはStable Diffusion用WebUI向けの拡張機能がGitHubに登場。15日には、AIイラストに注目するTwitterユーザーの間で「革新的な変化」と話題になっている。 論文によれば、ControlNetはStable Diffusionなどの拡散モデルでテキストから画像を生成するときに、追加の入力条件を加えて生成結果を制御するニューラルネットワークという。Stable DiffusionとControlNetを併用することで、より容易に生成結果を制御できるとしている。
画像生成AIが「トレパク」していた？ 学習画像と“ほぼ同じ”生成画像を複数特定 米Googleなどが調査
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 米Google、米DeepMind、スイスのETH Zurich、米プリンストン大学、米UC Berkeleyに所属する研究者らが発表した論文「Extracting Training Data from Diffusion Models」は、テキストから画像を生成する拡散モデルが学習データとほぼ同じ画像を生成していたことを実証した研究報告である。 これは学習データの各画像を拡散モデルが記憶し、生成時にほぼ同一を出力していたことになる。個人を特定できる顔写真や商標登録されたロゴも含まれていたため、今回の結果はプライバシーや著作権の問題も深く絡むことになる
創作に用いられる生成モデル発展の4段階と、ChatGPTに見る現在と今後｜piqcy
ChatGPTやStable Diffusionを代表として、知性や経験を持つ人間かのように画像やテキストを生成する「生成モデル」が注目されています。Gartnerの2022年のレポートでは、これまで人間が経験や思考に基づき行っていたアウトプットを、それらなしに生成できる破壊的なテクノロジーと定義されています。本記事では、こうした創作に用いられる生成モデルの発展を4段階で定義し、ChatGPTを先端とし現在と今後の在り方を展望します。 創作に用いられる生成モデルの発展段階本記事では、Gartnerが提唱するような人間の創作を模倣する用途で使われる生成モデルについて議論します。人間がアウトプットを行うプロセスを次図のように企画、調査、設計、制作、推敲の5段階で定義します。 制作のプロセスと、生成モデルの対応範囲「制作」から「推敲」に使える生成モデルを1.0、「設計」から「制作」、場合によって
2022年11月末、今からAI画像生成を触りたい未経験者向け記事｜852話
こんにちは、852話です。 世でAI画像生成サービスが騒がれ、一旦瞬間最大風速を超えたかなと思う最近ですが、改めて『全くAI画像生成に触れてきてないけど、今から触ってみたい』という人向けの記事を書きます。 記事は ・パソコンを持っていなくても気軽に初められる ・英語がわからなくてもなんとかなる ・無料で体験できる ・もっとカッコいいものを作りたい時 などを書きました。 今現在AIに触れている方向けの記事はまた次の機会にアップします。 ・そもそもAI画像生成って何？この項目は区別がつかなかったりしても大丈夫ですし読み飛ばしても構いません。 現在話題になっているAIでの画像生成サービスの機能は、 「文章から画像を出力する」 text to image→通称t2i 「画像を指定して画像を出力する」 image to image→通称i2i の二種類がメインです。 サービス自体はDALL-E、Mi
AI挿絵がネット小説界隈の浜辺にやってきた
ノクターンノベルズ（小説家になろうの18禁版）のランキングを「AI挿絵つき」が席巻し始めている。 今現在のランキングだと、１位と１２位が全話AI挿絵付きの長編。 ７位がAI挿絵の入った短編である。 １位と１２位はNovel AIを使用していると明記されている。 ７位は明記がないがおそらくNovel AIと見ている。 イラストの質についてパッと見た感想としてはおそろしくクオリティが高い。 AIイラストは、複数の生成イラスト間で同じ登場人物を同じように描くことが苦手だと思っていたが、それもできている。 これは、3Dカスタム少女やコイカツなどで3Dモデルを作っており、それに任意のポーズをとらせて出力した画像をimg2img機能で挿絵に変えているという考察があった。 確かにそれならば同一性はかなり担保される。 元々、3Dカスタム少女による画像を挿絵として入れている作者はノクターンノベルズに存在した
「画像AIに絵を描いてもらうためのテキストを作るAI」が公開 どのような文章を入力したらいいのか分からないとの声を受け開発
テクノロジースタートアップのデジタルレシピは、「画像生成AIに絵を描いてもらうためのテキスト作成支援AI」を公開しました。無料で利用できます。 AI画像生成ツール用にテキストを生成ジェネレーター ユーザーが入力したテキストをもとに画像を生成するとして話題の「画像生成AI」ですが、デジタルレシピは「どのような文章を入力したらいいのか分からない」というSNSでの声が多かったことからジェネレーターを開発したとのこと。 テキストボックスに日本語で文章を入力（推奨は全角500文字以上）、絵のスタイルを指定しボタンを押すと画像生成AIに読み込ませるためのテキストが生成されます。 「AI画像生成ツール用にテキストを生成ジェネレーター」を使って筆者が「Midjourney」で生成。テキストは日本語で「2人の少年が、草原でサッカーボールを蹴って遊んでいます。空は晴れていて気持ちよさそうな天気です。よく見ると
HなStable Diffusion
前提として、Stable Diffusionでエロ画像を出そうとしてもsafety checkerという機能が入っており、センシティブな画像を出そうとすると黒塗りになる。 (Stable DiffusionのSaaSであるDream Studioはぼかしだが、多分別の技術) https://github.com/huggingface/diffusers/releases/tag/v0.2.3 そこでGoogle Colabでちゃちゃっと環境を作り、なおかつNSFWを回避する。 1. 下記のリンクでノートを開く https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb 2. 下記の箇所を書き換える vvvvvvvvvvvvvvvvvv f
世界変革の前夜は思ったより静か｜深津 貴之 (fladdict)
世界のルールが根本的に変わってしまう… そういう展開は、マンガや映画ではよく起こる。それが現実でも起きそうだ。 あと数日（から数週間）で「トップレベルの画像生成AI」が、世界中にフリーで配布される。 イラスト、マンガはおろか3D CGや建築、動画、映像…果てはフェイクニュースからポルノまで…あらゆる創作に携わる全ての人を巻き込む、歴史的な転換点が訪れようとしている。 凄さ的には、悪魔の実がメルカリで買えるようになる。念能力トレーニング動画がYoutubeにアップされる。それぐらいヤバい。 メルカリで悪魔の実が買える世界では、誰もが能力者（一流とは限らない）になれる。そんな、漫画やゲームのラスボスが語るようなユートピアが、あと数日で現実になってしまうかもしれない。 Stable Diffusionで出力したドワーフの王様Stable Diffusionで出力したホビットのスタディ Stabl
画像の機械学習が劣化する理由 - Qiita
前書き 注意：ここに書いていることは2020年代としては、古すぎる見解になっている。 近年の自己教師あり学習の大幅な進展で、ここで述べているようなアプローチは大幅に古めかしいものになっている。 ・自己教師あり学習の進展は、画像認識タスクに対する共通のbackbone を作り出しており、後段で個々の画像認識タスクに対するfine-tuningをするアプローチに変わってきている。 ・そのため、ラベル付きの限られたデータで特徴量の抽出をしていたのが、自己教師あり学習に基づく特徴量の抽出になっている。 ・各人、自己教師あり学習について調べることをお勧めする。 主旨 単純に学習データを追加するだけでは学習が改善しないことがある。そのような場合へのヒントを著者の限られた経験の中から記述する。 はじめに 画像認識の機械学習を改善するためにはデータを追加すればよい。 そう思っている人が大半だろう。 ただ、
AIでモザイク除去 アダルトビデオ加工画像掲載の疑い 男逮捕 | NHKニュース
AI＝人工知能で「モザイク」を除去するという技術を使って加工したアダルトビデオのわいせつな画像をインターネット上に掲載したとして、サイトの元運営者が著作権法違反などの疑いで警察に逮捕されました。 逮捕されたのは、兵庫県高砂市に住むインターネットサイトの元運営者、中本正幸容疑者（43）です。 警察によりますと、中本容疑者はことし1月、AIの技術を使って、アダルトビデオのモザイク部分を加工してわいせつな画像10枚をみずからが運営するサイトに掲載したとして、著作権法違反とわいせつ電磁的記録媒体陳列の疑いが持たれています。 専用のソフトウェアを使ってモザイクの部分をAIに推測させモザイクがないように再現した動画を1本2300円ほどで販売していて、警察のサイバーパトロールで、発覚したということです。 警察の調べに対し、中本容疑者は「金銭目的でやった」などと話し容疑を認めているということです。 これま
1枚のイラストが10秒でVTuber用2Dモデルに、PFNのAI活用 ライブ配信アプリ「IRIAM」に新機能
ライブ配信アプリ「IRIAM」（iOS／Android、無料）を提供するIRIAM社（東京都渋谷区）は6月18日、1枚のイラストからバーチャルYouTuberのように表情が変化する2Dモデルを自動生成する機能のβテストを開始した。Preferred Networksが提供するAIを活用しており、約10秒で2Dモデルを生成できるという。 ユーザーがイラストをアップすると、PFNの深層学習技術で顔などをパーツ分けし、IRIAM社のモデリング技術「表情表現用モデリング」「表情表現用エンジン」でそれぞれを動かす仕組み。生成したモデルは目や口、首などを動かせる他、「怒った顔」「困った顔」など表情を変化させることも可能という。 通常、2Dモデルのアニメーションは動画データとして出力することが多いが、今回の機能では各パーツの位置関係などをデータ化した「モーションデータ」として出力。色などの情報を含まない
キャラクター画像一枚でより表情豊かなアニメーションを生成するシステムを作ってみた
上の動画中のキャラクターはバーチャルYouTuberまたはそれに関連したキャラクターです。この記事中の画像や映像は彼らのファンアート・二次創作です。[footnote] ほとんどの動画内のバーチャルYouTuberはいちから、カバー、774 inc.、のりプロ、KMNZ等の企業様に所属してます。しぐれうい様、神楽めあ様、伊東ライフ様、兎鞠まり様、ノート竹花様、なつめえり様、名取さな様、ユキミお姉ちゃん様、聖女れりあ様、楪穂波様、幽ヶ崎海愛様、花雲くゆり様、ケリン様、ふくやマスター様の画像も使わせていただきました。誠に申し訳ございませんが、切り抜き動画やMADや同人ゲーム等の二次創作と同じように使用許可は全く取っておりません。2019年の記事を（まだ世に出ていない）学術論文にした時は一部の企業様に連絡して許可を頂きましたが、この記事で使用する許可は取っておりません。 私は２０１９年に一枚のキ
「いらすとや」は要らなくなっちゃう？テキストで説明するとそれに沿った何パターンもの画像を生成するOpenAIが凄まじい
小猫遊りょう（たかにゃし・りょう） @jaguring1 毎日、数学をやっています。抽象度の高い数学が好きで、公理的集合論や数理論理学、圏論に興味があるけど、もっと具体的で実用的な数学も好きです。AI技術と、それがもたらす社会的影響についてよく考えていますが、基本的にテクノロジー全般の最新動向に興味があります。良さげな講義動画を見つけたら、ツイートするようにしてます。 小猫遊りょう（たかにゃし・りょう） @jaguring1 うおぉ、、新年早々、超激ヤバなニューラルネットをOpenAIが2つ発表してきた（DALL-EとCLIP）。視覚データとテキストの両方を用いたAIシステムで、DALL-Eは、テキストで説明すると、それっぽい画像を生成。こんなの創造性以外の何者でもない。テキスト+画像版GPT-3っぽい openai.com/blog/tags/mult… pic.twitter.com/
1枚のキャラクタ正面画像からのアニメーション生成 - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
作例 手描きで精細に書かれたキャラクタから、手描きでゆるく描いたキャラクタ、3Dキャラクタモデルがあるキャラクタ(いわゆる正解があるキャラクタ)まで、ある程度綺麗な結果が出ると思います！ 以下は、作例です。 2,3行目は本記事の著者が描いた絵を入力してみた結果ですが、気軽に描いた絵の割に良く動いています。 Talking Head Anime from a Single Image この記事および公開しているデモは、Talking Head Anime from a Single Image[1]の技術に基づき、作成しました。 上の記事では、この技術の背景からシステムのオーバービュー、実装の詳細をとても丁寧に説明されています。 さらに、記事だけでなく技術に関する動画も公開されています。 また、技術紹介の記事を公開した少し後に、デモを動かすためのソースコードも公開されています。 そちらのデモ
電笑戦 ~ AI は人を笑わせられるのか ? 挑戦を支える技術と AWS - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
みなさんこんにちは、アマゾン ウェブ サービス、シニアエバンジェリストの亀田です。2020 年 5 月に横浜開催を予定していた AWS Summit Tokyo が第三四半期にオンライン開催する方向で、現在従来の AWS Summit Tokyo と変わらぬ興奮を皆さんにお伝えできるようスタッフ一同準備をおこなっています。タイムテーブルなどの発表をお待ちください。 その AWS Summit Tokyo で募集開始から 1 週間で 1,000 名弱の申し込みがあった人気セッションがあります。それが 「電笑戦 ~ AI は人を笑わせられるのか」です。 すでに機械学習、そしてそれにより生成される AI モデルは我々の生活に欠かせないものとなり、多くのサービスがその恩恵を受け進化し、日々の生活を豊かなものにしようとしています。また、多くの企業、そして開発者がより良いサービスを模索し研究が続いてい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
やばい。このアイデア凄い。「予算100万円で都内のマンホールの写真を撮らないといけない」という課題を解決する孔明の策
画像認識技術のお仕事ってどんなもの？ 農家兼エンジニアとして、きゅうりの等級をAIで判定【GeekOutナイト】