GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultraに同じ質問をして、回答結果を比較してみた - Qiita
GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultraに同じ質問をして、回答結果を比較してみたPythonAWSAzureOpenAIGoogleCloud はじめに GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultra(Gemini Advanced)に同じ質問をして、回答結果を比較してみました。 Gemini Ultra以外のモデルはPythonコード上から実行し、Gemini UltraはGemini Advancedのチャット上で実行しています。 各モデルの詳細は以下のとおりです。 G
日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import openai import os openai.api_key = "<APIキー>" client = OpenAI() def gpt(utterance): #response = openai.chat( response = client.chat.completions.create( #model="gpt-4-1106-preview", model="gpt-3.5-turbo-1106", r
Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表
LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama
「GPT-4の精度は時間とともに変わっている」──そんな研究成果を米スタンフォード大学と米カリフォルニア大学バークレー校の研究チームが発表した。3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。ただし、この論文は査読前のもので第三者によるレビューは受けていない。 GPT-4は、米OpenAIが提供する大規模言語モデル（LLM）。3月の発表後、チャットAI「ChatGPT」にも搭載され、性能の高さが大きな話題を集めた。LLMは、データのフィードバックや設計変更などをすると性能が変化する。しかし、OpenAIはLLMの更新について発表しておらず、公開以後の性能変化も明らかにしていない。そこで研究チームは、3月と6月時点でのGPT-4、前モデルであるGPT-3.5に精度の違いがあるのか検証した。 実験ではChatGPTに対して「数学の問題の回答」「機
はじめに 5月からTuringに中途入社した棚橋です。リクルートで広告配信システムの開発や量子アニーリングに関する研究開発に関わっていました。現在、Turingのリサーチチームで完全自動運転システムの研究開発に取り組んでいます。 3行でまとめ 今月開催されるCVPR2023では約2400本もの論文が発表されるため、見るべき論文を事前に検索しておきたい。 社内で行われた大規模言語モデル（LLM）ハッカソンをきっかけに、LLMのEmbeddingを用いて論文の「検索・推薦・要約」システムを作成し公開した。 検索クエリに文章を使った曖昧な検索が行えたり、類似論文の推薦ができる。6/13にアップデートされたGPT3.5の新機能であるファンクション機能を使うことで、複数観点に分けて研究内容の要約を出力させた。 ↓ 今回作成した、LLMを使ったCVPR論文検索システム 事の発端 Turingは、ハンド
GPT-3.5-turbo を Fine-tuning して GPT-4 相当の性能を獲得する - DROBEプロダクト開発ブログ
はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-
【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO
ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように
GPT-4, GPT-3.5 の API を利用して JSON だけ生成する (Function calling)
先日 OpenAI API のアップデートが以下のように発表されました。 一番の注目は Function calling じゃないでしょうか？ 名前から「関数を呼び出せるのかな？」と一番最初に想像しちゃいますが、この機能の革新的な部分は「JSON を作成してくれる」ところだと思っています。 JSON を作れると嬉しいことがいっぱいありますね！ ダミーデータの作成 生成した JSON をそのままレスポンスとして返すエンドポイントの作成 テストとしても良い 関数や外部 API の呼び出し 今までは難しかった JSON の作成 今まで、JSON を作成してもらうにあたって gpt-3.5-turbo を用いて JSON を作成させようとするとほぼ失敗していました。それで gpt-4 のモデルを利用して JSON を作成させますが、このモデルはほとんど正確になる一方で処理速度がかなり遅くなる点がネ
Developers can now bring their own data to customize GPT-3.5 Turbo for their use cases. Fine-tuning for GPT-3.5 Turbo is now available, with fine-tuning for GPT-4 coming this fall. This update gives developers the ability to customize models that perform better for their use cases and run these custom models at scale. Early tests have shown a fine-tuned version of GPT-3.5 Turbo can match, or even
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。 We successfully made gpt-3.5-turbo output GPT-4 quality responses in an e2e RAG system 🔥 Stack: automated training dataset creation in @ll
【速報 : OpenAI APIがアップデートされました！！】GPT-4, GPT-3.5の0613版がリリース / GPT-3.5のコンテキスト長が4倍に / 新機能Function callingも追加 | DevelopersIO
Function callingは開発者向けとしては目玉の機能追加だと思います。 自身で定義した処理を組み込んだチャットが実現できる機能となっています。 文字での説明はちょっと難しいので、詳細は以降の試してみるでご説明致します。 試してみる それでは実際に動かしてみます。 環境 Google Colaboratoryを使います。 !python --version Python 3.10.12 openaiライブラリを入れておきます。 !pip install openai !pip freeze | grep -e "openai" openai==0.27.8 インポートおよびAPIキーを設定します。 import openai import os openai.api_key = "{sk-で始まるAPIキーを指定してください。}" とりあえず新しいやつを動かす 以下のコードで動かし
Top > 学術＆研究 > GPT-3.5の100分の1以下のモデルサイズでより高いプログラミング処理能力持つ「phi-1」Microsoftが開発
概要 背景・目的 関連研究 提案手法 実験 終わりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションの分野ではトレンドの変化とそれに伴う属性情報の変動に対応するため、画像分類AIモデルを頻繁にアップデートする必要性がある。 しかし、既存の画像分類AIモデルのアップデートには、労力と時間が掛かる。 様々なタスクの遂行能力が高いGPT-3.5に画像処理能力を付与し、画像分類タスクに挑戦した。 既存の研究（ex. HuggingGPT）と違って、GPT-3.5自体が画像分類の推論を行う点がユニークである。 実験からは有望な結果が得られた。 今後の性能向上はプロンプトを工夫するなど、比較的簡単な方法で達成できる可能性がある。 背景・目的 ファッションの業界は、トレンドの変化が早く、新しいスタイルが次々と提案されます。それに伴い、スタイルに付随する属性情報も常
なお、評価に使ったコードはこちらの eval_xxx というコードである。 https://github.com/hotchpotch/youri-7b-stf-qa-context-jaqket/ Supervised Fine-tuning Trainer(SFT) を使った学習 STFは手軽な方法で指示に対して特定フォーマットの出力(Instruction Tuning)を学習させることができる方法である。学習のさせ方も簡単で、例えば ### 指示: 今日の天気は何ですか？ ### 入力: 本日は大雨ですね。 ### 応答: 大雨 のような例文を用意する。例では「### 応答:」以降がうまく出力されるように学習して欲しいデータである。この時、例文と「### 応答:」だけ与えれば、よしなに学習してくれる。実際の学習時には、「応答:」以降を推論し、望ましい回答である「大雪」のtokenの
試作したモデルは、プロンプトを途中まで入力すると、大規模言語モデルが続きのテキストを生成する。ファインチューニング、強化学習などは実施しておらず、「性能面ではChatGPTなどと比較できるレベルではない」ものの、日本語でのやり取りが可能な水準には達したという。ただし、事実と異なる内容や意味をなさないテキストを生成することも確認しているとする。 また、現在「GPT-3」と同規模となる1790億パラメータを持つモデルの事前学習をスタート。学習用テキストの大規模化にも取り組んでいるという。さらに、民間企業、大学、国立研究所などとの共同研究を拡大し、安全に活用できる大規模言語モデルの研究開発に産学官連携して取り組む予定としている。 NICTは、2018年にGoogleが発表した言語モデル「BERT」をもとに、独自に収集した日本語のWebテキストを用いて識別系言語モデルを構築。Web情報分析システム
１．Llama 2の日本語能力最初に、Llama 2に日本語で話しかけてみました。 入力 こんにちは。日本語は話せますか？ LLama 2 Konnichiwa! Yes, I can speak Japanese. How may I assist you today? （こんにちは。はい、日本語が話せます。今日はどのようなご用件でしょうか？） 入力 富士山はどんな山ですか？ Llama 2 Fuji-san is a very famous mountain in Japan, known for its beautiful and iconic shape. It is a stratovolcano, which means it is a type of volcano that is characterized by its steep, conical shape and i
ライセンスは「Llama 2 Community License」に準拠しており、研究や商業目的での利用が可能。 ELYZA-japanese-Llama-2-13bを使ったチャット形式のデモもオープンソースAIプラットフォームの「Hugging Face hub」上で公開している。 関連記事 日本語に強い大規模言語モデル「Swallow」 産総研と東工大が公開 事前学習用の日本語データに工夫 産業技術総合研究所と東京工業大学の研究チームは、日本語に強い大規模言語モデル（LLM）「Swallow」を公開した。 マネーフォワード、大規模言語モデル「houou」公開 理研との共同研究 日本語の指示データ2900件を追加学習に利用 マネーフォワードは、理化学研究所（理研）と共同開発した大規模言語モデル（LLM）を公開した。出力精度を上げるため、日本語の指示データ（インストラクションデータ）290
「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明 目指すのは“GPT-3級の日本語LLM”
産業技術総合研究所は10月17日、世界トップレベルの大規模言語モデル（LLM）の開発を始めると発表した。産総研の他にも東京工業大学や、国立情報学研究所が主宰するLLM研究開発チーム「LLM-jp」（東北大学や東京大学、早稲田大学などが参加）も加わる。 LLM-jpが従来の国産LLMの10倍の規模を持つとされるパラメータ数1750億のLLMの構築に着手。産総研は、LLM構築に必要な計算資源として「AI橋渡しクラウド」（ABCI）を提供する。また、3機関で協力して開発に必要な言語データの作成も行う。 産総研は「この取り組みによって、日本で初めてのオープンに利用できるGPT-3級の日本語LLMの構築を目指す」と説明。「これによって、構築の過程が明らかで透明性の高いLLMを用いた、マルチモーダル（画像や言語など複数の入力ソースを扱えること）なデータを処理するAI技術の開発や、生成AIのロボット応用
中国の検索大手Baiduが、自社のAIモデル「Ernie」の最新版である「Ernie 3.5」を発表しました。Baiduは発表に際し「Ernie 3.5はOpenAIのGPT-3.5を上回り、中国語能力ではGPT-4を上回った」と声明で述べています。 Baidu Research http://research.baidu.com/Blog/index-view?id=185 Baidu’s Ernie Beats OpenAI’s ChatGPT in Key Tests, Company Says - Bloomberg https://www.bloomberg.com/news/articles/2023-06-27/baidu-s-ernie-beats-openai-s-chatgpt-in-key-tests-company-says Ernie 3.5は、人間の認知や能力に
自らの疑問に対する正確な回答をテキストで返してほしいという場合、この有償サービスは最初の大衆向けバージョンである「GPT-3.5」よりもずっと優れていると筆者は実感している。 誤解しないでもらいたい。GPT-4であっても依然として誤り、つまり「ハルシネーション」（もっともらしいウソ）を生成し得る。しかし、難しい質問に対するスマートな回答を望んでいるのであれば、GPT-4が役立つはずだ。この点を念頭に置いた上で、無償で利用できるGPT-3.5と、有償サービスの「ChatGPT Plus」を通じて利用できるGPT-4の技術的な違いについて説明したい。 OpenAIはGPT-4を「その前バージョンであるGPT-3.5に比べると10倍進歩している。この進歩によって、同モデルは文脈をよりしっかりと理解するとともに、ニュアンスを見極め、より正確かつ筋の通った回答を返せるようになっている」と説明している
膨大なデータでトレーニングしたGPT-3やBERTなどの大規模言語モデルは、基本的には「文章の並び方に確率を割り当て、次に来るのが自然な語を予測する」というモデルです。ところが、大規模言語モデルはまるで人間のように自然な文章を生成できるほか、画像の生成やタンパク質の立体構造の予測など、さまざまなタスクにも応用することが知られています。新たにカリフォルニア大学ロサンゼルス校の研究チームが、GPT-3は特定の情報を別のものに適用して答えを推測する「類推」のタスクにおいて、大学生を上回るスコアを記録したという研究結果を発表しました。 Emergent analogical reasoning in large language models | Nature Human Behaviour http://dx.doi.org/10.1038/s41562-023-01659-w GPT-3 ca
無料で商用利用可能な大規模言語モデル「Mixtral 8x7B」が登場、低い推論コストでGPT-3.5と同等以上の性能を発揮可能
GoogleのDeepMindやMeta出身の研究者によって設立されたAI企業のMistral AIが、大幅にモデルのサイズを縮小してコストパフォーマンスに優れた推論を行える大規模言語モデル「Mixtral 8x7B」をリリースしました。多くのベンチマークでGPT-3.5やLlama 2 70Bを上回る性能を持つとされています。 Mixtral of experts | Mistral AI | Open source models https://mistral.ai/news/mixtral-of-experts/ Mistral AIは2023年5月に設立されたフランスのスタートアップAI企業で、9月にはパラメーター数を70億に抑えながら「Llama 2 13B」や「Llama 1 34B」を上回る性能を持つ大規模言語モデル「Mistral 7B」をリリースするなど積極的にAIの開発
This paper introduces 26 guiding principles designed to streamline the process of querying and prompting large language models. Our goal is to simplify the underlying concepts of formulating questions for various scales of large language models, examining their abilities, and enhancing user comprehension on the behaviors of different scales of large language models when feeding into different prom
OpenAIが「GPT-3.5 Turbo」のファインチューニング機能をリリース、用途に合わせた独自のカスタマイズが可能に
対話型AIのChatGPTを開発したOpenAIが、2023年3月にリリースしたGPTモデルファミリー「GPT-3.5 Turbo」のファインチューニング(微調整)機能を発表しました。GPT-3.5 Turboをファインチューニングすることにより、「出力する言語を固定する」「応答の言葉遣いをブランドや企業のイメージに沿ったものにする」など、ユーザーの用途に合わせたカスタマイズが可能になるとのことです。 GPT-3.5 Turbo fine-tuning and API updates https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates OpenAI brings fine-tuning to GPT-3.5 Turbo | TechCrunch https://techcrunch.com/2023/08/22
Abacus AIがリリースしたオープンソースLLM「Smaug-72B」がHugging FaceのOpen LLM LeaderboardでトップとなりいくつかのベンチマークでGPT-3.5を上回ったことが明らかに
アリババのオープンソース言語モデル「Qwen-72B」を微調整して作られた「Smaug-72B」が2024年2月6日に登場し、同時にSmaug-72Bが「世界最高のオープンソース言語モデル」の座を獲得したことが明らかになりました。 abacusai/Smaug-72B-v0.1 · Hugging Face https://huggingface.co/abacusai/Smaug-72B-v0.1 Smaug-72B - The Best Open Source Model In The World - Top of Hugging LLM LeaderBoard!! Smaug72B from Abacus AI is available now on Hugging Face, is on top of the LLM leaderboard, and is the first mo
Databricksがオープンな大規模言語モデル「DBRX」をリリース、GPT-3.5やCodeLLaMA-70Bを上回る性能
データ分析ツールなどを提供する企業のDatabricksが、2024年3月27日にオープンな汎用大規模言語モデル(LLM)である「DBRX」を発表しました。オープンライセンスでの配布となっており、月間アクティブユーザーが7億人以下の企業は無料で商用利用が可能となっています。 Introducing DBRX: A New State-of-the-Art Open LLM | Databricks https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm DBRXはトランスフォーマーのデコーダーを使用するLLMで、「mixture-of-experts(MoE)」アーキテクチャが採用されています。パラメータの合計数は1320億となっていますが、全ての入力に反応するのは360億パラメータのみで、残りのパラメ
対話相手が機械なのか人間に予想してもらう「チューリングテスト」の結果、「ChatGPT」に使われるOpenAIの言語モデル「GPT-3.5」が1960年代のチャットボット「ELIZA」に敗北したことがわかりました。 [2310.20216] Does GPT-4 Pass the Turing Test? https://arxiv.org/abs/2310.20216 1960s chatbot ELIZA beat OpenAI’s GPT-3.5 in a recent Turing test study | Ars Technica https://arstechnica.com/information-technology/2023/12/real-humans-appeared-human-63-of-the-time-in-recent-turing-test-ai-stud
Photo by Mariia Shalabaieva on UnsplashBackgroundAllowing non-technical users to ask questions from a database has been a problem of interest in academia and industry for years. The recent advances in Large Language Model (LLM) technology, such as GPT-4, have improved the accuracy of proposed solutions. However, since the most advanced LLMs have not been open for fine-tuning, recent work in the sp
Fine-tuning: gpt-3.5-turboの活用事例。絵文字分類タスク改善のプロセスと、学びの言語化。｜にょす
みなさん、Fine-tuning使ってますか！？ 一週間ほど前に、OpenAI社からgpt-3.5-turboがFine-tuning可能になったとのアップデートがありましたね。 ニュースを見て凄そうと思いつつ、少し作業のハードルがあったり、プロンプトエンジニアリングで事足りてるから、そんなに使わないかも？🤔と思ってました。 ただ今回、重い腰を上げて、Fine-tuningを試してみたら、想像以上の結果が得られたので、そのプロセスと学びをまとめます！ システムに組み込む際の Prompt Engineering で苦戦している皆さん、Fine-tuningはかなり希望になると思います…！これからはPromptをゴニョゴニョするよりも、Fine-tuningに力を入れていこうと思いました。 ではまとめていきます！ 前置きとこれまでの課題今回は、音声メモ日記アプリ「シャべマル」の絵文字分類タ
以下の記事が面白かったので、かるくまとめました。 ・GPT-3.5 Turbo fine-tuning and API updates 1. はじめに「GPT-3.5 Turbo」のファインチューニングが利用可能になりました。「GPT-4」のファインチューニングもこの秋に提供される予定です。 初期のテストでは、ファインチューニングした「GPT-3.5 Turbo」が、特定の狭いタスクに関して「GPT-4」と同等、またはそれ以上のパフォーマンスを発揮できることが示されています。 他のAPIと同様、ファインチューニングAPIで送受信されるデータは、OpenAIやその他の組織が、他のモデルを学習するために使用することはありません。 2. ファインチューニングのユースケース今回のリリースにより、開発者は教師ありファインチューニングで、ユースケースに合わせてこのモデルのパフォーマンスを向上できるよう
How to build a GPT-3 App with Nextjs, React, and GitHub Copilot
EngineeringHow to build a GPT-3 App with Nextjs, React, and GitHub CopilotIn this step-by-step tutorial, you will learn how to use GitHub Copilot to build an application with OpenAI’s gpt-3.5-turbo model. At the beginning of the year, I started working out with a trainer who wanted me to start tracking my food, but I’ve always been super against tracking my meals because it just doesn’t work for m
米OpenAIは8月22日（現地時間）、大規模言語モデル「GPT-3.5 Turbo」のファインチューニング機能を公開した。利用する企業などが独自のデータを使ってモデルをカスタマイズできるようになった。
東大発のAIスタートアップ企業であるELYZA（東京都文京区）は3月12日、700億パラメータの大規模言語モデル（LLM）「ELYZA-japanese-Llama-2-70b」を開発したと発表した。日本企業のLLMの性能を大きく上回り、グローバルモデルの性能にも匹敵するという。このLLMを試せるチャット形式のデモ版も公開している。 同社が公開している日本語LLM性能を評価するベンチマーク「ELYZA Tasks 100」などで、開発したLLMの性能評価を行ったところ、日本企業が公開しているLLMの性能を大きく上回った。また、米OpenAIの「GPT-3.5 Turbo」シリーズや、米Anthropicの「Claude 2」シリーズ、米Googleの「Gemini 1.0 Pro」に匹敵する性能を達成したという。
GitHub - OkGoDoIt/OpenAI-API-dotnet: An unofficial C#/.NET SDK for accessing the OpenAI GPT-3 API
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GPT3.5 APIで16kトークンを扱えるようになった！...で、16kトークンってどのぐらいの分量の情報なの？という人向けの記事｜mah_lab / 西見 公宏
世の中function calling一色に染まっていますが、地味にGPT-3.5が16kトークンに対応していたり、4kトークン版の料金が下がったり、GPT-4のウェイティングリストを早期に消し去る宣言が出ていたりと、さらっと凄いことばかりやってのけるのがOpenAIの恐ろしいところです。ちなみに私の元にはまだGPT-4の利用許可が下りておりません。 16kトークンの分量について地味に嬉しいのがGPT-3.5の16kトークン版のAPIが用意されたことでして、GPT-3.5は高速だけどいい加減4kトークンのコンテキスト制限はつらいなー、という声が日々聞こえていたことと思います。 一気に4倍になったことでざっくり日本語換算で1万6000文字ぐらい扱えるようになったのですが、数字だけだとイマイチ分量が分かりづらいです。新書で大体8〜12万字なので、新書サイズの情報は扱えないことは分かる。 という
Don Reisinger （Special to ZDNET.com） 翻訳校正： 佐藤卓 吉武稔夫 （ガリレオ） 2024-04-24 09:35 テクノロジー企業各社は、より大規模でより高性能な人工知能（AI）モデルの構築でしのぎを削っている。だが、小型モデルも依然として大きな価値を持っており、Microsoftはそのコンセプトに大きく賭けようとしている。 Microsoftは米国時間4月23日、今後数カ月以内に3つの小型AIモデルをリリースすることを明らかにし、最初のモデルとして「Phi-3-mini」をリリースした。Phi-3-miniは、トレーニングに使用されたパラメーター（AIモデルがより優れた結果を生成するために使用する変数）数が38億と、計画されている3つのモデルの中で最も規模が小さい。同社は、トレーニング用パラメーター数が70億の「Phi-3-small」と140億の「
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-3.5-Turbo / GPT-4-Turbo 1106のJSONモードの使い方｜shi3z
国産の日本語生成AIの無料デモ版が公開 ～「GPT-3.5 Turbo」に匹敵する性能を達成／東大初のELYZA社が700億パラメーターのLLM「ELYZA-japanese-Llama-2-70b」を開発
GPT-4の精度は悪化している？ 3月に解けた数学の問題解けず GPT-3.5にも敗北──米国チームが検証
GPT-3.5-turboの新機能を使ってCVPRの論文を良い感じに検索・推薦・要約するシステム
GPT-3.5 Turbo fine-tuning and API updates
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka
GPT-3.5の100分の1以下のモデルサイズでより高いプログラミング処理能力持つ「phi-1」Microsoftが開発 | Ledge.ai
GPT-3.5に画像分類タスクを解かせる - DROBEプロダクト開発ブログ
Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する - A Day in the Life
400億パラメータで日本語特化 NICT、独自の生成AIを試作 「GPT-3」と同規模のモデルも開発中
Llama 2の性能がGPT-3.5並みだというのが本当かテストしてみた｜IT navi
ELYZA、新たな日本語言語モデルを一般公開 同社「日本語ならGPT-3.5を上回る性能」 商用利用も可
Baiduが「GPT-3.5を上回る」AIモデル「Ernie 3.5」を発表
「GPT-3.5」vs「GPT-4」--「ChatGPT Plus」は月額20ドルの価値があるか？
GPT-3は傾向や類似点を見いだして問題を解決する「類推」のテストで大学生を上回る能力を発揮できる
Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
1960年代のチャットボット「ELIZA」がチューリングテストでOpenAIの「GPT-3.5」を破る
OpenAI、GPT-3.5 Turboのファインチューニングに対応 常に日本語など
Fine-tuning GPT-3.5-Turbo for Natural Language to SQL
GPT-3.5 Turboのファインチューニング｜npaka
GPT-3.5 Turboがカスタマイズ可能に ファインチューニング機能提供 GPT-4も秋対応
ELYZAが新たな日本語LLMを開発 「GPT-3.5 Turboにも匹敵」 チャット形式のデモサイトも公開
OpenAI、GPT-4/GPT-3.5をアップデート 関数呼び出しに対応
MS、小型AIモデル「Phi-3-mini」を発表--性能は「GPT-3.5」に匹敵
NTT版LLM「tsuzumi」サービス開始 軽量でも日本語処理はGPT-3.5超え
