Sora Creating video from text Sora is an AI model that can create realistic and imaginative scenes from text instructions. Read technical report We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction. Introducing Sora, our text-to-video model. Sora can generate videos up to a mi

1月10日、PCゲーム配信プラットフォーム「Steam」運営元の米Valveが、生成AI技術を使ったゲームを認める形で方針を変更しました。今回の変更では「AI技術を使用するゲームの大半がリリース可能」になるとしており、これまで事実上の禁止と受け止められていた状況からすると大きな方針転換です。ゲーム業界では生成AIの導入が進みつつありますが、生成AIに反対するユーザー、開発者自身の懸念などをはらみつつ進んでいます。すでにSteamでは159ものタイトルが登録済みと急激に増加しつつあります。 Steamのレギュレーションでは、AI生成を「事前生成」と「ライブ生成」の2つに分けています。 「事前生成」では、ゲーム開発会社は生成AIに関する開示セクションが追加され、どのように生成AIを利用しているのかをタイトルの販売申請時に記入する必要があります。 アート、コード、サウンドなどを使用して作成された

Midjourneyの生成画像。12月のアップデートのv6では、写真と変わらないような画像が生成されることが話題となっている。この画像のような世界を動き回れるようになるのだろうか（筆者作成） 画像生成AIサービス「Midjourney」のオフィスアワーがあったのが1月4日。アメリカ時間で1月3日ですかね。オフィスアワーというのは、MidjourneyがDiscord上で月に1回開いて、いろいろユーザー向けに今後どのようにサービスが展開されるのかを説明するミーティングです。その会合に参加していたNick St. Pierreさんの報告によると、Midjourneyのデイヴィッド・ホルツCEOが「2024年末までにホロデッキに到達できる」と話したと言うんですね。「2024 年末までには、リアルタイムのオープンワールドが実現できればと思っています」とも言い、画像生成AIが、単にイラストといった画

スタンフォード大学インターネット天文台(SIO)の調査により、画像生成AI「Stable Diffusion」などのトレーニングに利用されているオープンデータセットの「LAION-5B」に、児童性的虐待画像(CSAM)が含まれていることが明らかになりました。CSAMの疑いのある画像は3226枚で、そのうち1008枚が外部機関の検証によりCSAMであると確認されました。 Investigation Finds AI Image Generation Models Trained on Child Abuse | FSI https://cyber.fsi.stanford.edu/io/news/investigation-finds-ai-image-generation-models-trained-child-abuse Largest Dataset Powering AI Imag

2023年12月頃から「ChatGPTが質問に答えてくれない」という現象が複数報告されており、OpenAIが調査を開始する事態に発展しています。新たに、ChatGPTの性能低下は「冬は休むもの」ということをAIが学習しているからではないかという説が浮上しています。 As ChatGPT gets “lazy,” people test “winter break hypothesis” as the cause | Ars Technica https://arstechnica.com/information-technology/2023/12/is-chatgpt-becoming-lazier-because-its-december-people-run-tests-to-find-out/ ChatGPTの性能が低下しているという報告は2023年12月頃から寄せられるようになり

12月8日に、またDTMの世界に新たな扉が開かれました。これまでもSynthesizer VをはじめとするAIを使った歌声合成のソフトはありましたが、今回誕生したMelisma(メリスマ)は、ヴァイオリンやオーボエ、チェロ……といった楽器を合成するシステムのβテスト版。もちろん、こうした楽器を再現するソフトとしては、これまでサンプリングを使った音源が数多くあり、まさにリアルな音で演奏できていました。でもサンプリングだと、たとえばタイやスラーでつないだ長い音符などとなると、どうしても限界があったし、ピチカート、トリル、フォール…といったアーティキュレーションでも表現の範囲が限られていました。 このMelisma(β)では、実際の演奏をディープラーニングしたものを元に演奏音を合成する、いわゆる生成AIのシステムで、サンプリングでは不可能だったリアルな演奏サウンドを作り出すことができるのが最大の

Google DeepMindが気象予測AI「GraphCast」を発表しました。10日間の天気を予測する場合、従来の気象予測システムではスーパーコンピューターを数時間稼働させる必要がありましたが、GraphCastでは1台のマシンを1分稼働させるだけで従来の予測システムを超える精度での予測が可能とアピールされています。 Learning skillful medium-range global weather forecasting | Science https://www.science.org/doi/10.1126/science.adi2336 GraphCast: AI model for faster and more accurate global weather forecasting - Google DeepMind https://deepmind.google/

このところ画像生成AI界隈で話題になっているのが、「Latent Consistency Models（レイテント・コンシステンシー・モデル」（以下「LCM」）。10月6日に中国精華大学のシミアン・ルオさんが中心となって発表された論文で、日本語にすると「拡散的一貫性モデル」。新しいタイプの効率性の高い生成モデルを使い、Stable Diffusion＝安定拡散モデルより高速に画像を生成。結果としてビデオメモリーの少ないローレベルのPCでも画像生成AIを動かせるようにしようというものです。 0.5秒で4枚出力。Stable Diffusionの5倍 Stable Diffusionの拡散モデルは、ランダムなノイズ情報から、学習済みの特徴点データを利用することで、段々と画像を生み出していくサンプリングプロセスを繰り返します。それによって画像を生成する仕組みです。通常、1枚の画像を生み出すのに必

はじめに 今、巷で高精細で描写の崩壊がしにくいと言われる、OpenAI社のDALL-E 3が話題ですね！ DALL-E 3の前身であるDALL-E、DALL-E 2で使用されているDALL-Eアーキテクチャと、現在主流になっているStable Diffusionは何が違うのかを説明していきたいと思います。 今回の内容は、比較的専門用語が飛び交うので、事前知識がないと「？？？」となるかもしれません。ご了承ください…。 事前知識はこちらをご覧ください。 DALL-Eとは DALL-Eの読み方は「ダリ」です。 DALL-Eはシュールレアリスム画家のサルバドール・ダリが名前の由来になっています。 DALL-Eは現在も進化を続けており、非常に精細で描画の崩壊が抑えられていると話題になっています。 OpenAI社が提唱したDALL-Eアーキテクチャを使用して動作しており、自然な描写、フォトリアリズムに

画像生成AI「Stable Diffusion」などの開発で知られるAIスタートアップ「Stability AI」が、競合他社の発展や主要幹部やエンジニアの相次ぐ辞任によって、開発資金の調達に苦しんでいることが報じられています。 Stability AI’s Lead Threatened by Departures, Concerns Over CEO - Bloomberg https://www.bloomberg.com/news/articles/2023-08-08/stability-ai-s-lead-threatened-by-departures-concerns-over-ceo Turmoil Threatens Stability AI’s Leadership Amid CEO Concerns – Cryptopolitan https://www.crypt

導入　本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり

百聞は一見に如かず。これってAI生成グラビア？AI画像生成に興味を持ったのは去年の年末頃だろうか。Twitterを眺めていると「どうやって撮った(作った)んだ？」と言う画像がたまに載っていたので調べると、Stable Diffusion Web UI (AUTOMATIC1111版)だった。 元々グラビアを撮っていたこともあり、あまり撮らなくなってもグラビア好きなのには違いなく、試したくなったのは言うまでもない。 AI生成画像は大きく分けて2種類あり、一つはイラスト系、もう一つはリアル系。筆者が興味を持ったのは後者。どこまで実写に迫れるのかがその興味の対象だ。百聞は一見に如かず。扉の写真はAI生成画像。現時点でこの程度の写りは容易にこなす。 とは言え、実際の撮影もそうなのだが、グラビア写真は数百枚撮ってカメラマンがある程度セレクトし納品したものが、納品先で更に絞られ、出版社などで更に絞り込

Discover amazing ML apps made by the community

どらたか @DoraHasi 近くでAIイラストのイベントやってたので行ってきました！ AIの進化はスゴイのひとことてす。 でも今のところ元々は人間が描いた（生み出した）ものの模倣。 今後、AIが新たな画風とかまで生み出せるようになるのかな？ #AIけっと #大田区産業プラザPiO pic.twitter.com/NuwmvxTMAd 2023-06-18 15:09:08

TL;DR ESD の手法で LoRA を学習してみたらそれっぽい感じのことができたよ VRAM 8GB で余裕で学習できるようになったよ (元は20GB要求) LoRA として保存できるようになったので重みの取り回しが良くなったよ マイナス適用によって、概念を削除するだけでなく強調することもできたよ 一度でも画像生成 AI に触ったことがあると、より楽しんで読めると思います。 論文とかどうでもいいから学習方法知りたい！ という方は 実際に学習してみる へどうぞ！ 今回作成したもの コード: モデルなど: 前提 Stable Diffusion とは、Stability AI らが公開したオープンソースの画像生成 AI であり、テキストによる指示で様々な画像を生成することができる。 本来の Stable Diffusion は、実写画像や海外風のイラストを出力することが得意だが、アジア系の

Adobeが権利的にクリアなトレーニングモデルを用いた画像生成AI「Firefly」を発表したり、Microsoftの検索エンジンであるEdgeで対話型AIのChatGPTが活躍していたり、世界的なコンサル企業が「社員の50％は業務にジェネレーティブAIを活用している」と明らかにしたりと、ジェネレーティブAIは社会に広がり続けています。しかし、AIを使用してコンテンツを作成・公開する人が増えていることで、新たな問題として「AIが生成したコンテンツがインターネット上にあふれ、それをAIが学習することで、重大な欠陥が生まれている」ということが研究者グループから指摘されています。 [2305.17493] The Curse of Recursion: Training on Generated Data Makes Models Forget https://doi.org/10.48550/

自然言語処理周りの処理を担うNatural Languageフレームワークのアップデートについて解説してくれているWWDC23の「Explore Natural Language multilingual models」というセッションを見たメモ。 Natural Language関連のセッションとしてはWWDC20以来の実に3年ぶり。 概要をざっくりいうと「多言語の BERT embedding をサポートしました」という話。 （以下、引用表記と画像は基本的に "Explore Natural Language multilingual models" セッションより引用） 埋め込み（embedding）とは何かLLMの隆盛もあり、自然言語処理を専門としていない人でも "embedding" という単語は耳にしたことがあるかもしれない。セッションではまずはここの解説があった。 In th

フガクラ @fugakura 怖ぇー、chat gpt使ってたら「視覴」という見慣れない言葉を吐き出したので検索したところ、ヒットするサイトがほとんど直近日付のAI出力された文章だった これっていわばAIのハルシネーションが生み出した存在しない単語なのでは…？ pic.twitter.com/TVXWcNlVWh 2023-06-08 08:51:02

2023年5月末現在、昨年から続く生成系AIの進化は目覚ましいものがあり、私も技術の進化は楽しみにしています。 しかしながら、良くない使い方をする輩がわんさか湧いて出てくるのも世の常。 自分は音楽ストリーミングサービスはSpotifyを主に使っているのですが、RadioにおけるAI楽曲のプレイリスト汚染がシャレにならないレベルで鬱陶しいので私から見えているものを書いてみます。 自動再生Radioに引っかかってくる変な曲達 Spotifyでは探した楽曲が聴き終わるとそのままアルバムや楽曲のRadioが始まります。似たような曲を勝手に選んで再生してくれるもので、これによる偶然の出会いは結構楽しみに使っていました。 メジャーな楽曲であれば近しい同じぐらい有名な楽曲であったり同系統のジャンルからそれなりな楽曲を再生してくれるのですが、いつからかマイナーだったりアングラな曲を聞いたあとのRadioに