はじめに こんにちは。 一昨日、土日を1日潰してLatent Cosistency Model（LCM）の推論高速化に取り組んでみたところ、そこそこ上手くいき、512×512pxの画像をimage-to-image(img2img)するタスクにおいてRTX3090で26fps、A100で33fpsの推論速度が出るようになりました。 【追記】RTX4090だと45fps出たそうなので、記事のタイトルをわずかに更新しました。記事作成当時はA100で検証していたので、以下ご了承ください。 画像1枚につき0.03秒で処理できていることになるので、ほぼリアルタイムで変換できていると言ってもいいのではないでしょうか。 プログレスバーが1%進むごとに1枚の画像のimg2imgが完了しています。気持ちいいですね。 そこで、この記事では、当高速化に取り組んだとき経験的に（理論的にではない）得られた、LCM推

DALL-E3を実装日からほぼ毎日使用し面白さにとりつかれています。何となくで触っているため, いまいち思った画像が出来ないことも多々ありましたので今回まじめに作成法を勉強してみました。初級編と名前がついているのは高等テクニックを教えるほどの技術がないだけで後に上級編が控えているという意味ではないです。 0. はじめに DALL-E とはシンプルなテキストのみで画像がつくれるAIです。 簡単なテキストのみで画像生成語源は『ウォーリー探せ』と芸術家の『ダリ』から来ているみたいです。ウィーリーはある種の「探し物」をする, userが提示するテキストのプロンプトから隠された要素やまだ見ぬ画像を「探し出し」生成することらしいです。 ウォーリーをインスパイアした少年1. 問題点, 主に著作権やはり何と言っても著作権問題ではないでしょうか。現在法整備が進行しているところです。OpenAIはコンテンツポ

Factorizing Text-to-Video Generation by Explicit Image Conditioning

Metaは2023年11月16日（米国時間）、9月開催の「Meta Connectカンファレンス」で発表した画像生成のための基盤モデル「Emu」（Expressive Media Universe）に基づく2つの研究成果を発表した。拡散モデルに基づいてテキストから動画を生成するモデル「Emu Video」と、マルチタスク画像編集モデル「Emu Edit」だ。 Emu Video：2ステップでテキストから動画を生成 Emu Videoは、まずテキストプロンプトから画像を生成し、次にテキストと生成された画像から動画を生成する。この2段階アプローチにより、高品質の動画生成モデルを効率的にトレーニングできる。毎秒16フレームで512×512ピクセルの4秒間の動画を生成することが可能だ。 関連記事 生成AI入門：議事録を答えるチャットAI（RAGアプリ）を作ってみよう【プログラミング不要】 生成系A

はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し、その内容に基づいてテキスト情報を生成する能力を持っています。例えば、写真やイラストから物体を識別し、それに関連する説明や情報をテキストとして提供できます。この技術は、画像とテキストの間のギャップを橋渡しするものであり、多様な応用が可能です。 DROBEは、多様なファッション商品を取り扱うECサイトを運営しています。我々の挑戦の一つは、膨大な数の商品画像と説明文から、正確で有用なタグを抽出し、整理して保存しておく事です。このプ

本日、私たちは Stable Video Diffusion を公開しました。これは、画像モデル Stable Diffusion に基づく最初の基盤モデルで、動画生成用です。 現在、研究プレビューとして公開されているこの最先端のAI動画生成モデルは、あらゆるタイプの人々のためのモデルを作成するための私たちの旅の重要な一歩を表しています。 この研究リリースでは、Stable Video Diffusion のコードを GitHub リポジトリで公開し、ローカルでモデルを実行するために必要なウェイトは Hugging Face のページで見ご確認いただけます。モデルの技術的能力に関するさらなる詳細は、私たちの研究論文で確認できます。 様々なビデオアプリケーションに適応 このビデオモデルは、単一画像からのマルチビュー合成など、様々なタスクに簡単に適応させることができます。私たちは、Stable

Stability AI、テキスト→動画の「Stable Video Diffusion」をGitHubで公開 Stability AIは、テキストから動画を生成するAIモデル「Stable Video Diffusion」のリサーチプレビュー版をGitHubで公開した。テキスト入力のためのWebツールを入手するにはウェイティングリストに登録する必要がある。

はじめに 以下のポストの通りStability AIが「Japanese Stable CLIP」を公開されたので、画像の内容を感情分析ようにしたい & ほかからでも使えるようにAPIを実装しました バックエンドのGPUサーバーレスには、最近ハマっているModalを使っていきます Modalを使ってLCMを使ったdiscordコマンドを実装した内容は以下で書いています！ 環境 Modal Python3.10 ライブラリ modal 実装 Modal側で動くAPIを実装します from modal import Stub, web_endpoint import modal stub = Stub("clip_api") emotions = [ "喜び", "悲しみ", "怒り", "驚き", "恐怖", "愛情", "幸福", "落胆", "焦燥", "安心", "羨望", "憎悪",

11月2日、画像生成AI「Midjourney」に新機能「スタイルチューナー（Style Tuner）」が追加されました。この機能で、ユーザー独自の画風を作成して登録して活用できます。競合するAI「Stable Diffusion」の「LoRA」と類似した機能ですが、より手軽に扱えるよう工夫されています。 使用方法は簡単です。MidjourneyはDiscordでチャットボットとやり取りしながら命令を打ち込む方式なので、まずは「tune/」というコマンドとプロンプトを入力します。すると16枚、32枚、64枚、128枚の4種から、ベースとなるスタイル（画風）を何枚生成するかを聞かれます。仮に32枚を選択すると、「0.3 fast hours GPU credits（0.3のファスト時間のGPUクレジット）」と、通常の画像生成に比べて、余計な計算コストが必要になるということが告知されます。それ

Stability AI は日本に特化した text-to-image モデル「Japanese Stable Diffusion XL（JSDXL）」をリリースしました。商用利用可能な「JSDXL」は、日本語入力の対応に加え、日本スタイルや日本を題材とした画像を生成することができます。 Japanese Stable Diffusion XL 「Japanese Stable Diffusion XL（JSDXL）」は、最新の英語版 text-to-image モデルSDXLに対して、日本語入力はもちろん、日本の文化やものが理解・反映された画像生成に特化させた日本向け text-to-image モデルです。 昨今、SDXL を含む強力な text-to-image モデルが公開されております。これらと翻訳ツールを組み合わせることで日本語入力は可能ですが、日本特有の表現の認識が難しい点や

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第20回目は、Stable Diffusion微調整モデルなどを高速化するツール「LCM-LoRA」、画像理解を得意とするオープンソース視覚言語モデル「CogVLM」をはじめとする、生成AI最新論文の概要5つをお届けします。 生成AI論文ピックアップStable Diffusion微調整モデルなどを高速化するツール「LCM-LoRA」　Hugging Faceらが開発 画像理解を得意とするオープンソース視覚言語モデル「CogVLM」 テキスト内容と画像内の物体とを細かく関連付けて対話できるモデル「GLaMM」　Googleらが開発 大規模言語モデルを低コストで効率よく

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoft Azure AIに所属する研究者らが発表した論文「MM-Vid: Advancing Video Understanding with GPT-4V（ision）」は、GPT-4で手書きの文字や図を読み取れるようになる技術「GPT-4V（ision）」を利用してビデオの内容を詳細なスクリプトに変換し、大規模言語モデル（LLM）に高度なビデオ理解能力を与えるという研究報告である。 長時間のビデオ、特に1時間以上のものを理解するのは、複数のエピソードにわたる画像や音声のシーケンスを分析する高度な手法が求められる複雑なタスク

このところ画像生成AI界隈で話題になっているのが、「Latent Consistency Models（レイテント・コンシステンシー・モデル」（以下「LCM」）。10月6日に中国精華大学のシミアン・ルオさんが中心となって発表された論文で、日本語にすると「拡散的一貫性モデル」。新しいタイプの効率性の高い生成モデルを使い、Stable Diffusion＝安定拡散モデルより高速に画像を生成。結果としてビデオメモリーの少ないローレベルのPCでも画像生成AIを動かせるようにしようというものです。 0.5秒で4枚出力。Stable Diffusionの5倍 Stable Diffusionの拡散モデルは、ランダムなノイズ情報から、学習済みの特徴点データを利用することで、段々と画像を生み出していくサンプリングプロセスを繰り返します。それによって画像を生成する仕組みです。通常、1枚の画像を生み出すのに必

2023年11月9日に開催された、オンライン勉強会 studyCOでの登壇資料です。 講演概要 日常の世界は3次元によって構成されています。その3次元的な情報を2次元の画像から再構成する場合においても、機械学習は有効です。近年、NeRF (Neural Radiance Field) と呼ばれる手法が注目を集めています。この手法では、ある点をその角度で見たときの色情報などを学習します。それにより、カメラで取得した2次元の画像から対象の3次元的な情報を再構成することができます。さらに、NeRFを利用すれば、見る角度によって変わる、反射の具合などもうまく再現することができます。 機械学習を利用せず、対象の3次元情報を計測する従来の手法も紹介しつつ、それらとの違いや、それぞれの得意な点なども紹介します。なお、本勉強会では、以下のMildenhallら (2021)の論文に沿って説明を行います。

Processing and narrating a video with GPT's visual capabilities and the TTS API This notebook demonstrates how to use GPT's visual capabilities with a video. GPT-4 doesn't take videos as input directly, but we can use vision and the new 128K context window to describe the static frames of a whole video at once. We'll walk through two examples: Using GPT-4 to get a description of a video Generating

OpenAI Vision API とはOpenAIは、自然言語処理の分野で広く認識されているGPT-4というモデルを提供しています。 そして最近、このモデルに画像認識の機能を追加したGPT-4 with Vision（以下、Vision API）がリリースされました。 この記事では、そのVision APIについて詳しく解説します。 Vision APIは、テキストだけでなく画像も理解することができるAIモデルです。 これにより、GPT-4が利用できる領域が大幅に広がりました。 Vision APIの使い方Vision APIは、画像のURLを指定するか、Base64でエンコードされた画像を直接リクエストに含めることで、画像をモデルに提供できます。 画像はuser、system、assistantのメッセージのいずれにも含めることができます。 以下に、Pythonでの使用例を示します。

概要 背景・目的 関連研究 提案手法 実験 アルゴリズムの説明 順位相関の確認 定量評価 定量評価の内訳 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションアイテムを特徴づけるための情報として、画像とテキストがある。これらは異なる情報を含んでいると考えられる。 類似のファッションアイテムを検索する場面で、画像とテキストの情報を両方活用することで、検索の精度を向上させることができると推測される。 類似のファッションアイテムを検索するタスクで、両方の情報を活用した提案手法の性能を評価し、片方の情報だけを活用するよりも、大幅に性能が改善することを確認した。 背景・目的 この記事は以下の記事の続編です。 tech.drobe.co.jp 以前の記事で、私たちはプロのスタイリストが作成した評価データセットを用いて、複数のアルゴリズムを類似商品検

概要昨日発表されたGPT-4VのAPI（画像に対して質問を投げることができるAPI）を早速利用してみたので、サクッと使ってみようと思う。 使い方当然ながら、現時点ではLangChainなどのライブラリからは利用できないし、Pythonのライブラリもなさそう（→ありました）。ここに使い方が乗っているので、そのまま使ってみる。ローカルのイメージをbase64エンコードして送る感じらしい。 やってみる今回は、インターネットで検索して出てきた画像に対して、簡単な質問をしてみよう。今後いろんな論文をサクッと実装していきたいと思うのだけど、まずは手始めに早稲田大学の講義のページを使わせてもらいます。制約条件付き最適化の問題を解かせてみようと思います。 https://www.f.waseda.jp/ksuga/2007chap17.pdfよりimport base64 import requests