米OpenAIは5月7日（現地時間）、同社の画像生成AI「DALL・E 3」で生成した画像かどうかを検出するためのツール「DALL・E Detection Classifier」を発表した。少数の研究者グループと、現実世界でのツールのテストを実施するとし、アクセス申請を受け付けている。 このツールの初期版の内部テストでは、DALL・E 3で生成された画像の約98％を正しく識別したという。圧縮やトリミング、彩度変更が成されたものでも識別できるが、それ以外の変更ではパフォーマンスが低下する可能性があるとしている。また、DALL・E 3以外の画像生成AIで生成した画像の識別でもパフォーマンスが低い。 OpenAIはまた、3月に発表した人の声を再現できる生成AIモデル「Voice Engine」に音声透かしを組み込み、限定的な調査プレビューを実施していることも発表した。 同社はさらに、デジタルコン

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます OpenAIは、「ChatGPT」や「Copilot」といった最も人気の高いAIチャットボットのいくつかを動作させるのに利用されている高度な大規模言語モデル（LLM）で最も知られている。マルチモーダルモデルは、視覚アプリケーションの新たな範囲を解き放つことでチャットボットの能力を新たな段階に引き上げることができ、OpenAIは一つのモデルを開発者に対して利用可能にした。 OpenAIは米国時間4月9日、「GPT-4 Turbo with Vision」が「OpenAI API」を通じて開発者に一般提供されたとX（旧Twitter）の投稿で発表した。同モデルは、最新の「GPT-4 Turbo」モデルにビジョン機能を追加したもの。 この最新

We explore large-scale training of generative models on video data. Specifically, we train text-conditional diffusion models jointly on videos and images of variable durations, resolutions and aspect ratios. We leverage a transformer architecture that operates on spacetime patches of video and image latent codes. Our largest model, Sora, is capable of generating a minute of high fidelity video. Ou

TL; DR OpenAI が非常に高品質な動画生成モデル Sora を公開 画像生成モデル Diffusion-Transformer を利用 動画を3次元画像として扱うことで画像モデルを拡張 キャプションは DALL•E3 同様、キャプション生成モデルで作成 OpenAI Sora Sora は OpenAI が今年の2月に発表した、動画生成モデルです。まずはこのモデルの出力例を見てみましょう。 図1. Sora の生成例: https://cdn.openai.com/sora/videos/big-sur.mp4 各フレームの画像が非常に美しく生成されています。また、従来の動画生成では時間が経った際に写っているオブジェクトを保つことが難しく、消えたり現れたり、急に歪んだりするものが多かったのに対し、Sora では一度隠れてから再度現れる場合であっても、矛盾なく生成できています。 こ

ChatGPTの開発元として知られるOpenAIは、テキストを入力するだけで高画質な動画を生成できるAI「Sora」の開発も進めています。新たに、Soraを用いて作成された動画の実例が大量に公開されました。 Sora: First Impressions https://openai.com/blog/sora-first-impressions Soraはテキストを入力するだけで最長1分間の動画を生成できるAIです。Soraは動画生成時に物理法則をシミュレートすることを特徴としており、被写体を違和感なく動かしたりカメラアングルをダイナミックに変化させたりできます。Soraの特徴は以下の記事で詳しくまとめています。 テキストから物理法則をシミュレートしながら動画を生成するAI「Sora」をOpenAIが発表 - GIGAZINE OpenAIはすでに複数のアーティストを対象にSoraのテス

OpenAIは2月15日（現地時間）、テキストから最大1分間の動画を生成できる動画生成AIモデル「Sora」を大量のデモ動画と共に発表した。複数のキャラクター、特定の種類の動き、被写体と背景の正確な詳細を含む複雑なシーンを生成することができるという。 プロンプトから破綻のない動画を生成 Introducing Sora, our text-to-video model. Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W Prompt: “Beautiful, snowy… pic.twitter.com

以下の記事が面白かったので、簡単にまとめました。 ・Sora 1. Sora「Sora」は、テキスト指示から現実的で想像力に富んだシーンを作成できる、動画生成モデルです。 OpenAIでは、人々が現実世界の相互作用を必要とする問題を解決するのに役立つ学習モデルを目標に、動いている物理的な世界を理解してシミュレートするようにAIを教えています。 Introducing Sora, our text-to-video model. Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W Prompt: “Beau

Sora Creating video from text Sora is an AI model that can create realistic and imaginative scenes from text instructions. Read technical report We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction. Introducing Sora, our text-to-video model. Sora can generate videos up to a mi

米OpenAIは2月15日（現地時間）、テキストプロンプトから最長1分の動画を生成するAIモデル「Sora」を発表した。一部のユーザーに公開し、フィードバックに基づいて改善していく計画。 SoraのWebページ（リンクは記事末）は「Soraは、テキストの指示から現実的で想像力豊かなシーンを作成できるAIモデルだ」と謳っている。このページには多数の動画が掲載されているが、すべてSoraが生成し、修正していないものという。 複数のキャラクター、特定の種類のモーションなどを含む複雑なシーンを生成できるとしている。ユーザーがプロンプトで何を要求したかだけでなく、物理的な世界で実際にどのように存在するかも理解するという。 例として挙げられた動画の1つは、「スタイリッシュな女性が、暖かく輝くネオンとデジタルサイネージで満たされた東京の通りを歩いている。彼女は黒い革のジャケット、赤いロングドレス、黒いブ

OpenAIが2024年2月6日、画像生成AIの「DALL-E 3」で生成された画像に対し、技術標準のCoalition for Content Provenance and Authenticity(C2PA)に基づく電子透かしをメタデータに埋め込む方針であることを発表しました。これにより、人間によって作成されたコンテンツなのか、AIが生成したコンテンツなのかの識別が容易になるとされています。 C2PA in DALL·E 3 | OpenAI Help Center https://help.openai.com/en/articles/8912793-c2pa-in-dall-e-3 OpenAI is adding new watermarks to DALL-E 3 - The Verge https://www.theverge.com/2024/2/6/24063954/ai

米OpenAIは2月5日（現地時間）、画像生成AIモデル「DALL・E 3」を提供するAPIで生成された画像にC2PAメタデータを含ませるようにしたと発表した。12日までにすべてのモバイルユーザーにも展開される見込み。 Coalition for Content Provenance and Authenticity（C2PA）は、コンテンツの出どころや関連情報を埋め込むオープンな技術標準のメタデータ。もともとはデジタルコンテンツの信頼を確立するために2021年に設立された業界団体とその技術標準だ。Adobe、Intel、Microsoft、ソニーなどが参加している。 例えばChatGPTのDALL・E 3で生成した画像をContent Credentials VerifyなどのWebサイトにドロップすると、画像の発行元がOpenAIで、使用したアプリがChatGPTであると表示される。

こんにちは、安部です。 気温の上下に翻弄されて最近風邪をひいてしまいましたが、皆さま元気にお過ごしでしょうか。 今回は、GPT-4Vのモデルを利用して、OCRができるか試していきます。 GPT-4Vによって、「ChatGPTに目ができた」などと騒がれましたが、文字認識はどれくらいできるのでしょうか？ 得意分野ではなさそうですが、GPTも進化が目覚ましいので分かりませんね。 検証では、日本語(漢字/ひらがな/カタカナ)・英語の2言語で精度など比較していきます。 また、手書き・活字での違いも見ていきましょう。 一番簡単に試せるChatGPT（Web版）でOCRをさせようとするとエラーになることが多かったので、 ここではAPIを使っていくこととします。 APIを呼び出すプログラム 以下のコードを使い、gpt-4-vision-previewというモデルを呼び出しています。 画像は個人のgithu

Start exploring GPT-4 Turbo with Vision capabilities with a no-code approach through Azure OpenAI Studio. Prerequisites An Azure subscription. Create one for free. Access granted to Azure OpenAI in the desired Azure subscription. Currently, access to this service is granted only by application. You can apply for access to Azure OpenAI by completing the form at https://aka.ms/oai/access. Open an is

Microsoft Ignite 2023 にて、これらのモデルが近いうちに Azure OpenAI Service でも利用可能になることが発表されていましたが、このたびマルチモーダル入力対応の GPT-4 Turbo with Vision のプレビューが開始しました。(テキスト入力のみを受け付ける無印 GPT-4 Turbo は一足先にプレビュー開始していました。) 参考 New models and developer products announced at DevDay (本家 OpenAI) Azure OpenAI Service Launches GPT-4 Turbo and GPT-3.5-Turbo-1106 Models GPT-4 および GPT-4 Turbo プレビュー モデル 利用可能なリージョン 執筆時点で GPT-4 Turbo with Visi

はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し、その内容に基づいてテキスト情報を生成する能力を持っています。例えば、写真やイラストから物体を識別し、それに関連する説明や情報をテキストとして提供できます。この技術は、画像とテキストの間のギャップを橋渡しするものであり、多様な応用が可能です。 DROBEは、多様なファッション商品を取り扱うECサイトを運営しています。我々の挑戦の一つは、膨大な数の商品画像と説明文から、正確で有用なタグを抽出し、整理して保存しておく事です。このプ

Processing and narrating a video with GPT's visual capabilities and the TTS API This notebook demonstrates how to use GPT's visual capabilities with a video. GPT-4 doesn't take videos as input directly, but we can use vision and the new 128K context window to describe the static frames of a whole video at once. We'll walk through two examples: Using GPT-4 to get a description of a video Generating

OpenAI Vision API とはOpenAIは、自然言語処理の分野で広く認識されているGPT-4というモデルを提供しています。 そして最近、このモデルに画像認識の機能を追加したGPT-4 with Vision（以下、Vision API）がリリースされました。 この記事では、そのVision APIについて詳しく解説します。 Vision APIは、テキストだけでなく画像も理解することができるAIモデルです。 これにより、GPT-4が利用できる領域が大幅に広がりました。 Vision APIの使い方Vision APIは、画像のURLを指定するか、Base64でエンコードされた画像を直接リクエストに含めることで、画像をモデルに提供できます。 画像はuser、system、assistantのメッセージのいずれにも含めることができます。 以下に、Pythonでの使用例を示します。

概要昨日発表されたGPT-4VのAPI（画像に対して質問を投げることができるAPI）を早速利用してみたので、サクッと使ってみようと思う。 使い方当然ながら、現時点ではLangChainなどのライブラリからは利用できないし、Pythonのライブラリもなさそう（→ありました）。ここに使い方が乗っているので、そのまま使ってみる。ローカルのイメージをbase64エンコードして送る感じらしい。 やってみる今回は、インターネットで検索して出てきた画像に対して、簡単な質問をしてみよう。今後いろんな論文をサクッと実装していきたいと思うのだけど、まずは手始めに早稲田大学の講義のページを使わせてもらいます。制約条件付き最適化の問題を解かせてみようと思います。 https://www.f.waseda.jp/ksuga/2007chap17.pdfよりimport base64 import requests

捉え方としては「GPT-4が視覚を持つようになったもの」なのでテキストタスクも引き続きGPT-4と同等の精度で扱える URLでもBase64エンコードした画像のどちらでもOK png jpeg webp git(アニメーション無しのものに限る)を受け付けている 特性 Limitationsの欄に、どんな画像が苦手なのかが書いてありますね。 日本語や韓国語などの非ラテンアルファベットテキストは苦手 チェスの盤面など正確な空間定位が必要なタスクは苦手 上下逆さまの画像は誤って解釈される可能性がある 特定の状況(？)で誤った説明やキャプションを生成することがある APIにCAPTCHA画像を投げてもシステムによってリジェクトされる など。 それでも、「画像を解釈して文字にする」という能力に誰もが触れるようになったのはたいへん力強いと思います。 色々遊んでみた実験に使ったコードさくっと試したかった