マイクロソフト、軽量かつ高性能な大規模言語モデル「phi-1」を発表

Microsoft ResearchのAI研究チームは6月20日（現地時間）、わずか13億パラメーターと従来のものよりもサイズが小さいにも関わらず「GPT-3.5（1750億パラメーター）」を上回る成績を収めたTransformerベースの大規模言語モデル「phi-1」を発表した。このモデルは間もなく「Hugging Face」で公開される予定だといいう。 ベンチマークでGPT-3.5を凌駕 「Textbooks Are All You Need」と題された研究論文によると、このモデルは8台のA100（NVIDIAの高性能GPU）でわずか4日間かけて訓練され、インターネット上から取得した60億トークンの「教科書品質」データセットと、GPT-3.5で生成した10億トークンの微調整用「練習問題」データセットが使用された。 サイズが小さいにもかかわらず、phi-1はLLMの性能を測定するためのベ

[n_shuyo]

phi-1 を報じる記事のほぼ全てが、論文の abstract の１行目に書いてある a new large language model for code の "for code" を無視しているのはなぜだろうか。

[canadie]

データセットが少ないとはいえ、安く提供できるならいまGPTシリーズが事実上独占している要約や自然文の添削などの単純タスクはこっちに流れるかもね。Azure OpenAIをホストしながらこういった発表もしてくるMSえぐい

[t-tanaka]

まあ学習材料を厳選してないからこそ，GPTは関西弁からアニメキャラ口調までこなせるんだが。

[gengohouse]

“phi-1”

[misshiki]

“ずか13億パラメーターと従来のものよりもサイズが小さいにも関わらず「GPT-3.5（1750億パラメーター）」を上回る成績を収めたTransformerベースの大規模言語モデル「phi-1」を発表した。このモデルは間もなく「Hugging Face」で

[isrc]

わずか13億パラメーターと従来のものよりもサイズが小さいにも関わらず「GPT-3.5（1750億パラメーター）」を上回る成績を収めた

[boomerangj]

Github Copilot XではGPT-4が使われると言われていたけどこっちが来たりするのかな。コスト面で。

[hetarechiraura]

ﾌｨｰ

[ex02xx]

pha-1

[phain]

何を言ってるかわからん

[naggg]

“わずか13億パラメーターと従来のものよりもサイズが小さいにも関わらず「GPT-3.5」を上回る成績を収めたTransformerベースの大規模言語モデル「phi-1」を発表”/ "「Textbooks Are All You Need」と題された研究論文"

[yottsusan]

“GPT-3.5で生成した微調整用「練習問題」データセットを使用する” これは、、、親は超えられないということ？データ量少ないと言ってるが、カンニングをしているだけな気がしてしまう。

[c_shiika]

Dolphinのphiかな。お消方

[hhungry]

計量モデルを問い合わせによって複数切り分ければいいんじゃまいか？

[laislanopira]

とんでもない差別的な文章が混じってたりして