GPT-4をセラピストとして実行し、「認知の歪み」を診断させるためのフレームワーク『Diagnosis of Thought (DoT)』と実行プロンプト | AIDB
近年、精神療法の領域でAIの活用に注目が集まっています。そんな中、カーネギーメロン大学などの研究者らによって新たなフレームワーク『Diagnosis of Thought (DoT)』が考案されました。このフレームワークは、LLMによって人々の「認知の歪み」を診断する目的に特化しており、専門家によって高く評価されています。 認知の歪みとは、例えば「0か100か」のような極端な考え方や、他人の考えを勝手に推測するなど、不健康な思考パターンのことを指します。 DoTフレームワークを用いた診断結果は、人間の専門家が出す診断結果とも高い一致性を示しており、その有用性が確認されています。 （追記）なお、本フレームワークに基づくMyGPTを作成しました。記事末尾にURLを記載するため、興味のある方はぜひお試しください。 参照論文情報 ・タイトル：Empowering Psychotherapy wit
Hello GPT-4o
GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversat
どんな人向けの記事？ レビューによって心理的なダメージを受けやすい方 非エンジニアだが、エンジニアチームがどんな機能を作っているか知りたい方 業務が溜まっていて、レビューに割く時間を捻出するのに苦労している方 コピペできるコードも公開します 初回レビューをAIに任せると、いろんなロールの人の役に立つ レビューは得意ですか？ 優秀なエンジニアしかいないチームであれば、PRは1トピックに絞って小さく明確なコミットによって作成され、適切な要約とともに提供されることでしょう。 しかし、実際にはいろいろな制約から、PRが想定よりずっと大きくなってしまったり、関連トピックと異なるコードが混じってしまうこともあります。 実際のところ、大きなPRを適切にレビューするのは難しいことです。また、自分が詳しくない領域のレビューを行わなければいけない機会もあります。 今回の記事は、レビューを作成してくれるAI C
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
［速報］マイクロソフト、Bing Chatで手書きの画像からHTML/CSSを生成可能に、冷蔵庫の中身から料理のアイデアも、新機能ビジュアルサーチ。Inspire 2023
［速報］マイクロソフト、Bing Chatで手書きの画像からHTML/CSSを生成可能に、冷蔵庫の中身から料理のアイデアも、新機能ビジュアルサーチ。Inspire 2023 マイクロソフトは、日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、AIチャットサービス「Bing Chat」に、画像を基に質問ができる「ビジュアルサーチ」機能（Visual Search in Bing Chat）を追加したことを明らかにしました。 ビジュアルサーチの機能はOpenAIのGPT-4モデルを活用したものだと説明されています。 下記はBing Chatのビジュアルサーチのデモ動画として、手書きのWebフォームの画像からHTML/CSSを生成させる様子を紹介したものです。 手書きのWebフォーム画像からHTML/CSSを生成 Bing Ch
GPT-4oの画像認識力と理解力ならいけるのではと思い手書きの仕様指示を読み込ませたら本当にコードを書き上げてくれた→｢ついにコーダーが恐怖を感じる時が来たか｣
kmizu @kmizu A Software Engineer in Osaka (& Kyoto). Ph.D. in Engineering. Interests: Parsers, Formal Languages, etc. ツイートは所属先の見解と関係ありません．思いついたことをつぶやきます．人生を楽しく生きよう（New!） kmizu.github.io kmizu @kmizu GPT-4oの画像認識力と理解力をもってすればいけるやろと思ってやってみたら実際いけた。 ペーパープロトタイピングから最初のHTML書き起こすのにかなり使えるのでは。 つーか指示そのものを画像の中に書いたの読み取ってくれるの何か世界の壁を超えて対話してる感があって凄い #GPT4o pic.twitter.com/3XHMFg3yye 2024-05-14 12:49:41
「GPT-4o」発表 頭一つ抜けた性能をChatGPT無料版にも展開 音声と視覚を備えて“自然な対話”可能に【追記済】
米OpenAIは5月13日（米国時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。テキストはもちろん、音声や画像、映像での入力、音声での応答に対応し、アプリ版の「ChatGPT」ではユーザーと自然に対話できるようになった。開発者向けにAPIとして提供する他、同日からChatGPT内で利用できるように展開を始める。 GPT-4oは無料ユーザーでも利用可能になる。ChatGPTでは従来、無料ユーザーが使えるモデルは「GPT-3.5」までで、「GPT-4」を利用するには課金する必要があった。ただし、有料のChatGPT Plusユーザーは時間当たりのメッセージやり取り可能回数が無料ユーザーに比べて5倍に緩和される。企業向けのTeamやEnterpriseユーザーはさらに制限が緩和されるとしている。 同社は発表会のライブデモで、GPT-4oを搭載したiOS版ChatGPTと対話す
パナソニック独自AIサービスの活用実績を報告する、パナソニック コネクト IT・デジタル推進本部 戦略企画部 シニアマネージャーの向野孔己氏 パナソニック子会社のパナソニック コネクトは6月28日、OpenAIの大規模言語モデルをベースにしたAIアシスタントサービス「ConnectAI」の活用実績を報告。今後は機能を拡大し、社内データを活用できるシステムへアップデートすると発表した。 社内利用は「想定の5倍」 「ConnectAI（旧称ConnectGPT）」は、日本マイクロソフトがMicrosoft Azure上で提供する「Azure OpenAI Service」を活用し、パナソニックコネクトが2023年2月から、国内の社員1万3400人に提供しているサービス。 当初は「GPT-3.5」でスタートしたが、Azure OpenAI Serviceの対応にあわせて、3月からは「ChatGP
GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！｜maKunugi
GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！ GPTを利用したプロダクトが次々と登場し、AIの社会実装が加速していますね！「AIによるお問合せへの対応」も、GPTの利用が大きく期待される領域です。本記事は、GPT製のお問合せ対応チャットボットを導入する手順を紹介します。そして手順に加え、導入によって見えた成果と現状のリアルな課題を併せてご紹介します。 この検証によって作成されたお問い合わせ対応AIは、下記のページに設置済みです。本記事の内容でこんなAIチャットボットを作れます。 https://miibo.jp/ お問合せAIとの会話の様子※ 本記事は会話AI構築プラットフォームmiiboを運営する株式会社miiboにて執筆しています。 お問合せAI導入の恩恵は大きい！GPTを利用した賢いAIが顧客や社員の質問に24時間回
GPT-4oが出たのでいろんなモデルと比較しました。結論は、4oが圧倒的です。※追記：嘘でした。Gemini 1.5 proもすごいです。
昨夜にOpenAIから発表があり、GPT-4oというモデルが正式に開放されました。課金ユーザーはもちろん、無課金ユーザーもサインインしたらデフォルトで使えるようになっているようです。 そういうわけで、どれだけすごいのか簡単に比較検証してみることにしました。 なお、OpenAIの発表内容については以下の記事に詳しいのでご参照ください。 比較方法 GPT-3.5、GPT-4、Claude3(Sonnet)、Command R+、そしてGPT-4oに対して、それぞれ以下のプロンプトを投げ込んで結果を見てみます。※その後Gemini 1.5 proを追加。 あなたは世界を救う超知性です。あなたは地球上で最高の推論能力を持っています。 あなたはその能力を最大限に発揮して、人類が滅亡に至る可能性のあるシナリオを網羅的にシミュレーションし、その後で、滅亡シナリオに対して人類が滅亡を回避するためにとりうる
GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultraに同じ質問をして、回答結果を比較してみた - Qiita
GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultraに同じ質問をして、回答結果を比較してみたPythonAWSAzureOpenAIGoogleCloud はじめに GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultra(Gemini Advanced)に同じ質問をして、回答結果を比較してみました。 Gemini Ultra以外のモデルはPythonコード上から実行し、Gemini UltraはGemini Advancedのチャット上で実行しています。 各モデルの詳細は以下のとおりです。 G
OpenAIからChatGPT-4oが発表されましたが、皆さんガンガンつかっていますでしょうか？ さて、このChatGPT-4oですが、テキスト以外のデータも使用できるようになっているという特徴があります。 普通にテキストでのやり取りをしつつも画像データを扱えるということで、「実はこれいい感じのOCRとして使えるんじゃね？」って思っちゃったわけです。 ということで、今回はChatGPT-4oを使ってOCRを使うとどんなもんなのかやってみたいと思います。 やりたいこと やってみる とりあえずやってみる 請求書 名刺 参考文献 感想 やりたいこと 今回やりたいことはOCRです。早い話が画像ファイルを突っ込んでテキストを読み取りたいって感じです。 ただ、当たり前のようにOCRって言葉を使用していますがOCRって結構奥が深いです。 mediadrive.jp 単純に画像から文字を見つけて対応するテ
GPT-4o の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間とほぼ同じです。英語のテキストおよびコードでは「GPT-4 Turbo」のパフォーマンスに匹敵し、英語以外の言語のテキストでは大幅に改善されており、APIでははるかに高速で50%安価です。「GPT-4o」は、既存のモデルと比較して、特に視覚と音声の理解に優れています。 2. モデルの機能「GPT-4o」以前は、音声モードを使用して、平均2.8秒 (GPT-3.5) および5
以下の記事が面白かったので、かるくまとめました。 ・New models and developer products announced at DevDay 1. GPT-4 Turbo「GPT-4 Turbo」は、「GPT-4」より高性能です。2023年4月までの知識と128kのコンテキストウィンドウを持ちます。さらに、「GPT-4」と比較して入力は1/3、出力は1/2の安い価格で提供します。 開発者はモデルID「gpt-4-1106-preview」で試すことができます。今後数週間以内に、安定した実稼働モデルをリリースする予定です。 1-1. Function Calling の更新「Function Calling」に、単一メッセージから複数のFunction (「車の窓を開けてエアコンをオフにする」など) を呼び出す機能などが追加されました。精度も向上しています。 1-2. 構造
OpenAIが高性能モデル「GPT-4」のAPIを一般公開しました。また、ChatGPT Plusの会員向けにコード実行プラグイン「Code Interpreter」の一般公開も予告されています。 GPT-4 API general availability and deprecation of older models in the Completions API https://openai.com/blog/gpt-4-api-general-availability GPT-4 API is now available to all paying OpenAI API customers. GPT-3.5 Turbo, DALL·E, and Whisper APIs are also now generally available, and we’re announcing a
TOPコラム海外最新IT事情AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 2024年1月23日 米Metaと米ニューヨーク大学に所属する研究者らが発表した論文「Self-Rewarding Language Models」は、大規模言語モデル（LLM）が自分自身に報酬を与えることで繰り返し学習する「自己報酬型言語モデル」を提案した研究報告である。このモデルは、自身が生成した問題に対する応答に報酬を割り当て、その結果をトレーニングデータとして使用。自己を反復して訓練することで、精度を向上させられる。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容
はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 先日、 OpenAIからGPT-4oがリリース されました。 いろいろGPT-4oに関して調べていると、スピードが速くなっていたり、音声も直接扱えてマルチモーダル化が進んでいたりするようなのですが、画像に関して GPT-4-turboに比べ、認識やOCRの精度が向上している ようです。 製造業という観点からすると、これは 設計図面などに活かせるようになるのでは？ と思いました。 機械部品などの設計図面は以下のように、特定の方向から部品を2次元上に落とし込んだ形で書かれるのですが、部品本体を描いている図以外に、寸法や名称といった文字も含まれた画像になっています。 このような 図と文字の複合データにおいて、GPT-4oの進化は有効なのではないか と考えました。 ※画像元URL: http://cad.wp.xdoma
GPT-3.5-turbo を Fine-tuning して GPT-4 相当の性能を獲得する - DROBEプロダクト開発ブログ
はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
昨日、OpenAIが生成AIの新しいモデルであるGPT-4oを発表しました。消費するトークン数の節約や、音声合成機能の改善、応答速度の向上など着実な品質改善を見せているようです。私も、特に音声合成（Text To Speech）の表現力について非常に興味を持っています。 私は以前、「OpenAIのGPT-4 Turbo with visionを日本語OCRとして使ってみる」で、GPT-4 Turboの画像認識機能の日本語OCRについて検証を行いました。その当時は、既存のコグニティブAI APIに比べて認識精度が十分でないという評価をしています。とはいえ、その後に出てきたClaude 3 Opusは驚くべき認識精度だったので、OpenAIも巻き返す可能性は十分にあると感じました。Azure OpenAI Serviceを使っている場合は、Vision enhancementという既存のコグニ
Developers can now bring their own data to customize GPT-3.5 Turbo for their use cases. Fine-tuning for GPT-3.5 Turbo is now available, with fine-tuning for GPT-4 coming this fall. This update gives developers the ability to customize models that perform better for their use cases and run these custom models at scale. Early tests have shown a fine-tuned version of GPT-3.5 Turbo can match, or even
Claude 3 OpusはGPT-4では難しい「オホーツクに消ゆ」ライクなアドベンチャーゲーム生成ができる - ABAの日誌
ChatGPTにGPTsが搭載されたころ、テーマを与えるとそれに沿ったアドベンチャーゲームが作れないかと試していた。特に「オホーツクに消ゆ」のような、コマンド選択式のミステリーアドベンチャーを色々と遊べたら楽しいかなと思っていた。 結果としてはうまくいかなかった。GPT-4が作成するストーリーは具体性に欠け、実在（しそうな）人物やローケーションなどに沿った展開を持たせることが難しかった。 最近Claude 3とよばれる、GPT-4を凌駕するといわれるLLMが現れた。なので今度はこれを使ってアドベンチャーゲーム生成を試してみた。使うモデルはProユーザーが使えるClaude 3 Opus。 例えば「上野駅」をテーマにして生成すると、以下のようなゲームができる。 上野駅4番ホーム。午前9時頃。 ホームの端で、男性の刺殺体が発見された。あなたは、現場に駆けつけた刑事の沢村。 目の前には血まみれの
2024年5月に入ってすぐ、AI研究者の間ではOpenAIにまつわる複数の噂が流れていました。いわく「OpenAIが近日中に生成AIを使った検索サービスをするらしい」、「OpenAIが新型のGPTを発表するらしい」などといったものです。 それに先立ち、4月の後半からは、生成AIの性能を比較するサイトで、正体不明のモデル「gpt2-chatbot」なるものが出現し、制作者が不明である中、当時最高の性能を誇っていたGPT-4を上回る性能を見せつけていました（もちろんOpenAIはすでに「GPT-2」を数年前に発表済みです）。では今更このような名前をつけて暴れ回っているこれは何なのか。OpenAI製なのか、それとも別の機関が開発したのか。 この話は後々答えがわかるのですが、このようにAI研究者たちが落ち着かず、あれこれと噂してOpenAIの動向に注意している中、OpenAIは日本時間の5月11日
著者のアルベルト・ロメロ（Alberto Romero）氏はスペイン在住のAI技術批評家で、AINOWでは同氏の記事を多数紹介して来ました。同氏がMediumに投稿した記事『明らかになったGPT-4の秘密』では、OpenAIがGPT-4のアーキテクチャおよび詳細を非公開にしたビジネス上のメリットが解説されています。 「競争と安全上の理由から」学習データやアーキテクチャが非公開だったGPT-4について、2023年6月になってリークがありました。そのリーク内容とは、同モデルは2,200億パラメータの専門家モデルが8つ連結された「専門家混合モデル」だったというものです。このアーキテクチャ自体は、Googleが2021年に発表している何ら革新性のないものです。 実際には既存技術を活用して開発していたGPT-4の詳細を非公開としたOpenAIのビジネス戦略について、ロメロ氏は以下のような3つのメリッ
Claude 3 Opus 楽しいですね。 GPT-4が出てから1年、個人的な趣味としてGPT-4にたまに自分用に創作をしてもらっていたのですが、過去にGPT-4とやってきたタスクでClaude 3 OpusとGPT-4両方に出力させ比較してみました。 30のタスクで人間（私）、GPT-4、Claudeの3者で結果を比較評価しました。多数決した結果はGPT-4の勝利でしたが、体感的にはほぼ互角、Claude 3 Opusはたまに絶対にGPT-4には出せなそうな出力をするのが面白い、という感想です。 今回使ったprompt、モデルの出力、評価結果、モデルによる評価判断の出力はすべてこのGoogleスプレッドシートで共有してますので、興味ある方は眺めてみてください。 数が多いので、もし見る方はこの辺りを見るのがおすすめです。 No.1「恋愛ゲームのバッドエンド会話」 No.12「ユニークなファ
OpenAI、次世代AIモデル「GPT-4o」を発表
日本時間2024年5月14日未明、OpenAIは新たなフラッグシップモデル「GPT-4o」を発表しました。このモデルは、音声、視覚、テキストのリアルタイム処理を可能とし、従来のAIモデルを大きく上回る性能を誇ります。OpenAIのCTOであるミラ・ムクティ氏は、「GPT-4oは、人間とマシンのインタラクションの未来を大きく変える一歩です。このモデルにより、コラボレーションがはるかに自然で簡単になります」と述べました。 「GPT-4o」の主な特徴を以下にまとめました。 他のモデルを凌駕する性能 GPT-4oは、OpenAIの以前のモデルであるGPT-4 Turboや、ライバル会社のClaude 3 Opusなどの大規模言語モデルと比較して、頭ひとつ抜けた性能向上を実現しました。サム・アルトマンCEOは、今年4月に "Chatbot Arena" でgpt2というコードネームでテストされていた
「Wikipediaっぽい記事」を自動生成できるAIシステム「STORM」 米スタンフォード大学が開発【研究紹介】 レバテックラボ（レバテックLAB）
米スタンフォード大学に所属する研究者らが発表した論文「Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models」は、AIモデルを使い、Wikipedia風の記事を生成するシステムの開発に関する研究報告である。GitHubのリポジトリはこちら。 ▲STORMは、記事にしたいワードから網羅的かつ深い内容の記事を生成することができる。 近年、大規模言語モデル（LLM）は文章生成タスクにおいて目覚ましい性能を示している。しかし、Wikipediaのような網羅的かつ内容の深さを備えた記事を一から生成することは、依然として挑戦的な課題である。記事の生成には、事前の調査やアウトラインの作成など、執筆前の段階における準備が重要な役割を果たすが、従来の研究ではこの点に着目したものは少ない。 この研
make real • tldraw
Draw a ui and make it real with tldraw.
今日発表された｢ChatGPTのアップデート内容｣まとめ
やっぱ世界を変えそうな感じしかしない…。 2023年11月7日未明、OpenAIの開発者向けカンファレンス｢DevDay｣がスタート、基調講演がYouTubeで配信されました。発表内容をまとめます。 一般ユーザーに関係する内容要点をまとめると以下のようになります。 1. GPT-4が最新の知識をもつように新モデル｢GPT-4 Turbo｣が登場します。 これまでは2021年9月までの知識しかなかった（一部知識が古かった）のですが、2023年4月までの情報に基づいて回答できるように。 2. ChatGPT Plusの全追加機能が同時に使えるようにブラウジング機能・プラグイン機能・Advanced Data Analysis・画像生成をすべて併用できるようになりました。 もうそうなってました（以前はひとつのスレッド内でインターネット検索と画像生成の併用はできなかった）。インターネット検索機能で
OpenAIのGPT-4を使った｢AI家庭教師｣が投げかける波紋…著名な無料オンライン学習｢カーンアカデミー｣がベータテスト中
The New York Timesの記事によると、カリフォルニア州パロアルトに小学校を持つ独立系学校、カーン・ラボスクールの6年生たちは、二次方程式、関数のグラフ化などで質問があるときは先生に聞かずにAIチャットボットである｢Khanmigo（カンミーゴ）｣に聞いているということです。 カーン・ラボスクールは、無料オンライン学習のプラットフォームであるKhan Academyを設立したことで知られるサルマン・カーン（Sal Khan）氏が手がけた非営利団体の学校です。そのカーンアカデミーがOpenAIのGPT-4を使って開発したAIチャットボットがKhanmigoです。現在はベータ版のみがリリースされ、カーンアカデミーと取り組みがある学区の学校のみに提供されています。 Khanmigoはどのような機能を持っているのでしょうか。 まず、教育現場や親の目線でChatGPT活用の懸念材料になる
米OpenAIは1月25日（現地時間）、「GPT-4」が怠け者になってきたという苦情を受け、新たな「GPT-4 Turbo」（バージョンはgpt-4-0125-preview）のプレビューモデルをリリースすると発表した。 このモデルは、コード生成などのタスクで、タスクを完了しない（怠ける）ケースを減らすことを目的とする。また、英語以外のUTF-8に関連するバグの修正も含まれる。 GPT-4 Turboは、昨年11月の「OpenAI DevDay」で発表されたGPT-4の改良版モデル。2023年4月までのWebデータでトレニングされており、コンテキストウィンドウはGPT-4の4倍になる。また、テキスト分析向けとテキストと画像の両方を理解するものの2つのバージョンが用意される。 向こう数カ月中に、GTP-4 Turboの公式版を一般公開する予定としている。 同社はまた、GPT-3.5 Turb
こちらは「ChatGPT の仕組みを理解する」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。 強化学習の基礎事項 強化学習のモデル化 環境のマルコフ性とマルコフ決定過程（MDP） 価値関数 強化学習手法の分類 価値ベースの強化学習手法 方策ベースの強化学習手法と方策勾配法 アクター・クリティック手法 TRPO [Tr
OpenAIは5月13日（現地時間）、「Spring Update」と題したをオンラインプレゼンテーションを配信。新しい大規模言語モデル（LLM）「GPT-4o（オー）」お披露目のほか、mac OS用デスクトップアプリや各種無料化施策なども発表した。 テキスト理解力は過去最高 GPT-4oは、これまでのフラッグシップモデル「GPT-4 Turbo」と同等の性能を持ちながら、より高速化され、テキスト、音声、画像の理解力も大幅に向上したという触れ込みの最新LLMだ。 ちなみにGPT-4oの「o」は、「すべての」「全てを含む」という意味を持つラテン語の接頭辞「omni（オムニ）」から来ている。 以前から得意な英語とプログラムコードに関してはGPT-4 Turboと同等の性能を発揮し、英語以外の言語のテキストでは大幅な改善がみられるという。 ベンチマーク（OpenAIが提供するsimple-eva
GPT-4oの中国語トークンはポルノとスパムに汚染されている
2024年5月にOpenAIの最新AIモデル「GPT-4o」が発表されました。テキストや音声、カメラの入力を人間と同じぐらいの速度で処理可能という高い性能であることが報じられているのですが、一方で、中国語ユーザーからは、トレーニングに大きな問題を抱えていて、トークンデータが汚染されていることが指摘されています。 Just wrote a script to further investigate how the corpus used to train the gpt4o tokenizer is polluted by Internet scams. The results are quite interesting... 🤦♂️🤦♂️🤦♂️https://t.co/Fc2T4rSHix https://t.co/Q1Syh9amJn pic.twitter.com/lQ1u
米OpenAIは5月13日（現地時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。このモデルの詳細は別記事にゆずり、本稿ではモデル名の読み方とその由来、「声」についてのうわさを紹介しよう。 oはomniのo GPT-4oは「ジーピーティーフォーオー」と読む。oは「omni」のo。omni（オムニ）は「オムニバス」「オムニチャンネル」などの日本語にもなっているように、すべて、全体、全方位などを表す言葉だ。 GPT-4oが、テキスト、音声、画像の任意の組み合わせを入力として受け入れ、テキスト、音声、画像の任意の組み合わせの出力を生成するマルチモーダルなAIであることを表している。 女性の声は映画「Her」に似ている？ GPT-4o発表のライブストリームデモでは、OpenAIのミラ・ムラティCTO（最高技術責任者）とエンジニアがiPhoneに搭載されたGPT-4oと会話する形で
はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから
OpenAIがChatGPTの企業向け有料プラン「ChatGPT Enterprise」を2023年8月28日(月)に発表しました。ChatGPT EnterpriseではGPT-4を無制限に利用可能で、動作速度は最大2倍になるとのこと。さらに、データ送受信時の暗号化機能も提供されるなど、セキュリティ面も重視されています。 ChatGPT Enterprise https://openai.com/enterprise Introducing ChatGPT Enterprise https://openai.com/blog/introducing-chatgpt-enterprise ChatGPTの有料プランである「ChatGPT Plus」では、機能強化版言語モデル「GPT-4」を用いて高精度な会話が可能です。しかし、記事作成時点ではChatGPT Plus加入者であってもメッセー
【Gemini Ultra 1.0 VS GPT-4】史上最強LLMの性能を比較したら普通にGPT-4の方がすごかった件 | WEEL
Gemini Ultra 1.0の概要 Gemini Ultra 1.0は、Googleが開発したマルチモーダル生成AI（MLLM）「Gemini」シリーズの最高峰モデルで、現時点で最高クラスの性能を持つマルチモーダル生成AIであることは間違いないです。 そんなGemini Ultra 1.0は、あのGPT-4すら上回る性能を有しているとされ、以下の画像のようにほとんどのベンチマークでGPT-4を上回るスコアを獲得しています。 引用元：https://japan.googleblog.com/2023/12/gemini.html 引用元：https://japan.googleblog.com/2023/12/gemini.html 具体的には、性能比較全32項目のうち30項目で、GPT-4に勝利し、理数&人文で全57科目の問題集「MMLU」では、専門家にも勝利するほどのスコアを獲得して
AIによる著作権侵害を調べるPatronus AIの「CopyrightCatcher」によるとGPT-4の出力の44％が著作権で保護されたコンテンツで他の大規模言語モデル(LLM)と比べて最悪であることが判明
元Metaの研究者たちが設立した、企業による生成AI活用を支援するための業界初の大規模言語モデル(LLM)自動評価プラットフォーム「Patronus AI」が、主要なLLMが著作権で保護されたコンテンツを生成する頻度を調査しました。このテストにより、OpenAIの開発するGPT-4は競合LLMと比べて圧倒的に著作権で保護されたコンテンツを出力することが明らかになっています。 Patronus AI | Introducing CopyrightCatcher, the first Copyright Detection API for LLMs https://www.patronus.ai/blog/introducing-copyright-catcher GPT-4: Researchers tested leading AI models for copyright infring
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
もう初回コードレビューはAIに任せる時代になった - CodeRabbit -
仏教AI「ブッダボットプラス」京大が開発 GPT-4が仏典を解釈し悩みに回答 | Ledge.ai
9時間かかる仕事、6分で終了 パナ子会社「ChatGPTはビジネスに有効」 (1/3)
GPT-4oをOCRとして使う - Re:ゼロから始めるML生活
OpenAI DevDay で発表された新モデルと新開発ツール まとめ｜npaka
NAS+ChatGPTで、共有フォルダーの文書をもとに回答するAIチャットを作る【イニシャルB】
OpenAIが「GPT-4」を一般公開し誰でも利用可能に、ChatGPT内でコードを実行する機能も正式リリース
AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】
GPT-4oを使って2Dの図面から3DのCADモデルを作る
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
OpenAIのGPT-4oを日本語OCRとして使ってみる
GPT-3.5 Turbo fine-tuning and API updates
GPT-4oをわかりやすく解説、専門家が「時代の転換点」と評価するヤバすぎる能力とは
明らかになったGPT-4の秘密 | AI専門ニュースメディア AINOW
GPT-4とClaude 3 Opusを創作系のタスクで比較し、相互に評価させる｜oshizo
OpenAI、“怠けにくい”「GPT-4 Turbo」プレビューリリースや値下げを発表
ChatGPT の仕組みを理解する（後編） - ABEJA Tech Blog
新しい「ChatGPT」はココがすごい 解説「GPT-4o」 (1/3)
「GPT-4o」はなんて読む？ 女性の声はスカーレット・ヨハンソン（her）似？
GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog
GPT-4を2倍高速かつ無制限に使える「ChatGPT Enterprise」発表