A few weeks ago we finally got access to the GPT-4 fine-tuning API (in limited early access), and were super excited to check out how well it works. We’d been a user of OpenAI’s fine-tuned models since fine-tuning the original GPT-3 davinci model first became available. Unsurprisingly, a fine-tuned GPT-4 greatly outperforms fine-tuned GPT-3.5 (more than 50% improvement for our use case!). We’ll go

Claude 3 Opus 楽しいですね。 GPT-4が出てから1年、個人的な趣味としてGPT-4にたまに自分用に創作をしてもらっていたのですが、過去にGPT-4とやってきたタスクでClaude 3 OpusとGPT-4両方に出力させ比較してみました。 30のタスクで人間（私）、GPT-4、Claudeの3者で結果を比較評価しました。多数決した結果はGPT-4の勝利でしたが、体感的にはほぼ互角、Claude 3 Opusはたまに絶対にGPT-4には出せなそうな出力をするのが面白い、という感想です。 今回使ったprompt、モデルの出力、評価結果、モデルによる評価判断の出力はすべてこのGoogleスプレッドシートで共有してますので、興味ある方は眺めてみてください。 数が多いので、もし見る方はこの辺りを見るのがおすすめです。 No.1「恋愛ゲームのバッドエンド会話」 No.12「ユニークなファ

ChatGPTにGPTsが搭載されたころ、テーマを与えるとそれに沿ったアドベンチャーゲームが作れないかと試していた。特に「オホーツクに消ゆ」のような、コマンド選択式のミステリーアドベンチャーを色々と遊べたら楽しいかなと思っていた。 結果としてはうまくいかなかった。GPT-4が作成するストーリーは具体性に欠け、実在（しそうな）人物やローケーションなどに沿った展開を持たせることが難しかった。 最近Claude 3とよばれる、GPT-4を凌駕するといわれるLLMが現れた。なので今度はこれを使ってアドベンチャーゲーム生成を試してみた。使うモデルはProユーザーが使えるClaude 3 Opus。 例えば「上野駅」をテーマにして生成すると、以下のようなゲームができる。 上野駅4番ホーム。午前9時頃。 ホームの端で、男性の刺殺体が発見された。あなたは、現場に駆けつけた刑事の沢村。 目の前には血まみれの

元Metaの研究者たちが設立した、企業による生成AI活用を支援するための業界初の大規模言語モデル(LLM)自動評価プラットフォーム「Patronus AI」が、主要なLLMが著作権で保護されたコンテンツを生成する頻度を調査しました。このテストにより、OpenAIの開発するGPT-4は競合LLMと比べて圧倒的に著作権で保護されたコンテンツを出力することが明らかになっています。 Patronus AI | Introducing CopyrightCatcher, the first Copyright Detection API for LLMs https://www.patronus.ai/blog/introducing-copyright-catcher GPT-4: Researchers tested leading AI models for copyright infring

こんにちは。税理士ドットコム事業部の @komtaki です。 ChatGPT が 2022 年 11 月 30 日に出て一年が経ちました。みなさんも生成 AI を本番サービスで活用できてますか。 弁護士ドットコム株式会社でも実運用の壁を乗り越えて、実際にビジネスを変革するため本番サービスへの活用が進んでいます。「Developers Summit 2024」で市橋がプレゼンしていますので、よろしければご覧ください。 GenAI in Production～生成AIに君がみた光と、僕がみた希望～ / 20240215_devsumi2024 - Speaker Deck その事例を踏まえて、社内システムで生成 AI を組み込む流れとその勘所についてお話しします。生成 AI のカスタマイズに関する専門的な話（ファインチューニングや RAG など）には一切触れず、プロンプトエンジニアリングだけ

最先端AIは果たして創造力を有していると言えるのだろうか？この議論は未だ結論の出ない話題ではあるが、1つの指標として、最先端のAI言語モデルである、OpenAIのGPT-4が、創造性の中核的指標である発散的思考を測定するためにデザインされたテストにおいて、人間の参加者を凌駕したことが、アーカンソー大学の研究によって明らかになった。 このAIの能力の探求は、単一の正解を持たない問題に対してユニークで複雑な解決策を生み出す可能性を示している。 発散的思考とは、例えば “両親と政治の話をしないようにするにはどうしたらいいか？”といったような、予想される解答が一つもない質問に対して、独自の解答を生み出す能力のことである。この研究で、GPT-4は人間の参加者よりも独創的で、詳細な答えを出したのだ。 「The current state of artificial intelligence gener

Gemini Ultra 1.0の概要 Gemini Ultra 1.0は、Googleが開発したマルチモーダル生成AI（MLLM）「Gemini」シリーズの最高峰モデルで、現時点で最高クラスの性能を持つマルチモーダル生成AIであることは間違いないです。 そんなGemini Ultra 1.0は、あのGPT-4すら上回る性能を有しているとされ、以下の画像のようにほとんどのベンチマークでGPT-4を上回るスコアを獲得しています。 引用元：https://japan.googleblog.com/2023/12/gemini.html 引用元：https://japan.googleblog.com/2023/12/gemini.html 具体的には、性能比較全32項目のうち30項目で、GPT-4に勝利し、理数&人文で全57科目の問題集「MMLU」では、専門家にも勝利するほどのスコアを獲得して

米OpenAIは1月25日（現地時間）、「GPT-4」が怠け者になってきたという苦情を受け、新たな「GPT-4 Turbo」（バージョンはgpt-4-0125-preview）のプレビューモデルをリリースすると発表した。 このモデルは、コード生成などのタスクで、タスクを完了しない（怠ける）ケースを減らすことを目的とする。また、英語以外のUTF-8に関連するバグの修正も含まれる。 GPT-4 Turboは、昨年11月の「OpenAI DevDay」で発表されたGPT-4の改良版モデル。2023年4月までのWebデータでトレニングされており、コンテキストウィンドウはGPT-4の4倍になる。また、テキスト分析向けとテキストと画像の両方を理解するものの2つのバージョンが用意される。 向こう数カ月中に、GTP-4 Turboの公式版を一般公開する予定としている。 同社はまた、GPT-3.5 Turb

OpenAIの開発したGPT-4などの基盤モデルは、多様なタスクにおいて高い能力を発揮しています。一方で深い専門知識が試される領域においては、専門知識でトレーニングされた特化型モデルと比較して、汎用モデルの性能は劣るだろうと考えられてきました。しかし、Microsoftの研究者たちが最近行った実験によると、その前提には一考の余地がありそうです。 研究では、医学分野において、特殊なトレーニングを施されていない（と考えられている）GPT-4が、プロンプトの工夫を通して、専門モデルと同等あるいはそれ以上の成績を収めることが示唆されました。研究結果は、単に基盤モデルの性能を評価するだけでなく、プロンプトの工夫がAIの能力をいかに引き出すかという視点を提供しています。 本記事では実験結果を中心に報告内容を見ていきます。 参照論文情報 タイトル：Can Generalist Foundation Mo

はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから

社内のテックトークで紹介しました。 論文内で議論しているマルチモーダルLLMの活用方法や課題などを紹介しています。 詳しいアルゴリズムの話はしていません。

チャットAIのChatGPTのベースとなっている自然言語処理AIモデルのGPT-4は、科学的仮説を裏付けるためにデータセットを捏造するケースがあるという論文が発表されました。 Large Language Model Advanced Data Analysis Abuse to Create a Fake Data Set in Medical Research | Ophthalmology | JAMA Ophthalmology | JAMA Network https://jamanetwork.com/journals/jamaophthalmology/article-abstract/2811505 ChatGPT generates fake data set to support scientific hypothesis https://www.nature.com/

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoft Azure AIに所属する研究者らが発表した論文「MM-Vid: Advancing Video Understanding with GPT-4V（ision）」は、GPT-4で手書きの文字や図を読み取れるようになる技術「GPT-4V（ision）」を利用してビデオの内容を詳細なスクリプトに変換し、大規模言語モデル（LLM）に高度なビデオ理解能力を与えるという研究報告である。 長時間のビデオ、特に1時間以上のものを理解するのは、複数のエピソードにわたる画像や音声のシーケンスを分析する高度な手法が求められる複雑なタスク

コンテキスト長が長くなり、学習データも最新化、さらに価格も下がっていますので、Previewではなくなるのが待ち遠しいですね。 詳細は以下も参照ください。 Models / GPT-4 and GPT-4 Turbo - OpenAI API 試してみた 少しだけPythonで試してみようと思います。 実行前にopenaiモジュールも本日1.0.0がリリースされているようですので、事前にアップデートしてください。 openai · PyPI 簡単なクエリを試してみます。 from openai import OpenAI # APIキーの発行方法は以下を参照 # https://dev.classmethod.jp/articles/openai-api-quickstart-tutorial/ client = OpenAI( api_key = "ここにOpenAI APIキーを記載"

米NVIDIAは10月20日（現地時間）、ロボットに高速な“ペン回し”や引き出しの開閉など、複雑なスキルを自律的に教えるAIエージェント「Eureka」（ユリイカあるいはエウレカ）を発表した。 NVIDIAは、米OpenAIのGPT-4搭載のEurekaのライブラリを公開し、強化学習研究用の物理シミュレーションリファレンスアプリケーション「Nvidia Isaac Gym」で実験できるようにしている。Isaac Gymは、3Dツールとアプリを構築するための開発プラットフォームNvidia Omniverseで利用できる。 Eurekaによるロボット教育の大まかな流れは、まずGPT-4と生成AIを使って、強化学習のためにロボットに報酬を与えるコードを作成する。Isaac GymのGPU高速化シミュレーションを使って報酬候補の大規模なバッチの品質を評価し、より効率的なトレーニングを実現する。そ

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-