Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama

[T-norf]

教科書レベルの学習データで学習させると、わずか1.3BパラメータのモデルでGPT-3.5相当の性能。スケーリング則の「モデルサイズ・学習データサイズ・学習量」よりも「データの質 is All You Need」

[shields-pikes]

Open AI社はBingやAzureやWindowsへのChatGPT提供ライセンスフィーと引き換えに、Microsoftにノウハウを奪われていってない？　近い将来に喧嘩別れして、Open AI社の存在感が薄れて、結局IT巨人同士の戦いになったりするのかなー。

[kei_0000]

ここからどれだけ賢くできるかに期待。人は一番性能の良いツールを使いたがると思うので、GPT-4の67%超を目指して頂きたい。メモhttps://paperswithcode.com/dataset/humaneval

[shunkeen]

“教科書品質のデータセット60億トークンと、GPT-3.5から生成された教科書データセット10億トークンを使い、8台のNVIDIA A100によるわずか4日間のトレーニングで作られた”／AIの教科書を生成するAI。

[theatrical]

GitHub compilot のコスト下げられるしMicrosoft的には嬉しいだろうな。Microsoft researchは独立した研究機関で Microsoft本社の意向関係なく研究しているとよく聞くので、そこを意識したわけではないかもしれないけど

[deejayroka]

“phi-1の重要性は「モデルのサイズを大きくする代わりに質を向上させることで高い性能のモデルを得ることができる」という点にあります”

[adsty]

GPT-3.5よりパラメータ数が少ないのに成績は上回った。

[gabill]

“「Textbooks Are All You Need(必要なのは教科書だけ)」”

[nilab]

「LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました」

[nicht-sein]

学習素材の品質も大事ってことなんじゃろうな

[dec123456789]

この手のやつ、英語以外の言語は本当にダメダメ。

[LuckyBagMan]

競馬予想AI「ルメール買っとけ」

[misshiki]

“Transformerベースのモデル「phi-1」を発表。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。”

[haruosaka]

3〜4年後には多くの人間がイヤフォン型のAI質問装置を取り付けていて曖昧な知識を補完するツールにしていると予想出来る。俺の場合だと競馬場でこの馬の阪神競馬場での成績は？とか聞くかな。サブスクなら払う。

[takeishi]

そのうちローカルでスマホや携帯翻訳機に載る日が来るな

[gfx]

"このモデルはインターネットから収集された教科書品質のデータセット60億トークンと、GPT-3.5から生成された教科書データセット10億トークンを使い、8台のNVIDIA A100によるわずか4日間のトレーニングで作られたとのこと"

[kuumon]

“Orca”

[atsushieno]

MS/MSRって（MSRだけじゃないけど）「論文に内容をきちんと把握できるまともなタイトルを付けさせる」教育が全くできていないよね。カンファレンスのセッションタイトルもIO/WWDCと比べてBuildだけアレだった。

[remix-cafe]

Microsoft Security CopilotなどにOpenAIのGPT-4入れたりした結果、大規模なトレーニングデータが手に入ったからそれだけでも儲けもんだよな。

[fog-og-frog2]

直観だと、教科書通りの質問や回答しか理解できない過学習が起きてそうな感じはするけどね。ChatGPTの良さはスラングだったりラフすぎる質問だったりそういうところへの対応だと思うけど、これはどうなのかな

[hiroomi]

”、8台のNVIDIA A100によるわずか4日間のトレーニングで作られたとのこと。”

[toaruR]

日本語で使うとどうなるんやろ（´－｀）

[circled]

「Open AI社はBingやAzureやWindowsへのChatGPT提供ライセンスフィーと引き換えに、Microsoftにノウハウを奪われていってない？」→ これは競争激しい業界だから遅かれ早かれ起こる話な気がするのよね。AI分野で一強は無理かと

[dh16t]

13億や

[prjpn]

これって真理かも

[Imamura]

シンギュラリティがまた一歩近づいた！ いい先生に学ぶと成績が伸びるみたいな話は、マイクロソフトの莫大な研究リソースによってベンチャーのOpenAIが拓いたAI研究をぐんぐん加速させるのと似ている

[RySa]

特定の言語で特定分野の教科書や論文を学習させれば恐らくもっと良い結果が得られる。これが直近で手軽に広くGPTを適用する道かなと。その点で言うと今からでも様々な企業が開発に乗り出しても良いと思う。

[kuroyuli]

テストに使われたHumanEvalというデータセットが、訓練に使われた教科書データセットとの相性抜群だった可能性。（他のタスクでは大したことない？？）

[augsUK]

「GPT-3.5から生成された教科書データセット10億トークン」AlphaGoZeroが人間の棋譜不要にすぐになったように、生成元が優秀なAIならデータの質こそ人間の文書不要になりそう。

[punychan]

分かった。これから最も需要のある人間は、よいお手本データを生成できる人間だ。あと、AIは誰のどんなデータをお手本にしたかが宣伝材料になる。

[grandao]

もはや何がどれだけ凄いのか一般人にはサッパリ分からない。