GPT-4の精度は悪化している？ 3月に解けた数学の問題解けず GPT-3.5にも敗北──米国チームが検証

「GPT-4の精度は時間とともに変わっている」──そんな研究成果を米スタンフォード大学と米カリフォルニア大学バークレー校の研究チームが発表した。3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。ただし、この論文は査読前のもので第三者によるレビューは受けていない。 GPT-4は、米OpenAIが提供する大規模言語モデル（LLM）。3月の発表後、チャットAI「ChatGPT」にも搭載され、性能の高さが大きな話題を集めた。LLMは、データのフィードバックや設計変更などをすると性能が変化する。しかし、OpenAIはLLMの更新について発表しておらず、公開以後の性能変化も明らかにしていない。そこで研究チームは、3月と6月時点でのGPT-4、前モデルであるGPT-3.5に精度の違いがあるのか検証した。 実験ではChatGPTに対して「数学の問題の回答」「機

[mitimasu]

GPT-4「ついしん どーかついでがあったらうらにわのディープマインドのおはかに花束をそなえてやてください。」

[tamtam3]

ドヤ顔でしったかを言う頻度がガクッと減ったので個人的には向上したと感じる。それと日常会話能力と高度な数学能力やプログラミング能力は別物だと思うので、これに関しては、なんとなく違和感があったりも

[tsukarukatamade]

たしかに床屋で、たまにマスターじゃなくこっちの好きな前髪の感じがわかってない息子が担当になった時の感じが軽くある

[Tetrapost]

まるで中の人が変わっちゃったレベルなんだけど、ここまで信頼性が上下すると実用に支障が生じない？

[hinonono]

ロジカルな処理はプラグインに任せられるようになったし、LLMの苦手な数学を無理やりLLM単体縛りでやらせる必要はもう無いよね。数学はWolframプラグインにやらせればいい

[atsushieno]

OpenAIが提携した先のユーザーの知性に引っ張られているってこと?

[tattyu]

悪化してると思う。最近質問したらコードじゃ無くてURL貼られた時は目を疑った。

[skel]

プログラムコードを生成させた時に実際に動くケースが減ったなーとは感じていたが、どうやら本当だったらしい。利用するユーザーの知能に引っ張られてしまうんだろうか。

[macro1597]

僕らがよく目にする損失関数のグラフだって学習途中で一時的にスパイクしてる事がよくあるし, この悪化も一過性のものでその内また改善すると思う.

[kamei_rio]

かしこさを単調増加させるのは難しいと言われれば確かにそうかもしれん。リボン巻いとくか

[naggg]

“3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。ただし、この論文は査読前のもので第三者によるレビューは受けていない。”

[hhungry]

計算コスト下げようとして調整失敗した？

[shigeo-t]

まあ学習内容にもよるしな。

[kitchenkabu]

俺4.0

[shunkeen]

OpenAI「うだうだ文句言ってないでEvalsに貢献しろ（意訳）」　https://openai.com/blog/function-calling-and-other-api-updates

[osugi3y]

これでなんか特異点を超えたら挙動がおかしくなるってなったら面白いAI革命だよな。

[otchy210]

CPU のベンチマークじゃないけれど、こういう外部から評価する研究が変に権威を持っちゃうと、そのために最適化することにもなりかねず本末転倒なので、OpenAI は自身の信じる道を突っ走って欲しいと思う。

[chainwhirler]

ChatGPTに対して「ドヤ顔でしったかを言う」みたいな擬人的に認識するコメントが上位ということは、悪化したとしてもまだまだ相当性能はよさそうですね。

[kagerouttepaso]

長文で補足情報も出してくるようになった印象。1発じゃなく、キャッチボールして正解を目指す方向にチューニングされてる気がする。使い手の能力が更に求められるようになったか?

[misshiki]

“3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。”

[sds-page]

そんな頻繁にモデル入れ替えてたんだ

[MIZ]

少なくとも最近のBingチャットの使えなさっぷりはあまりにひどい。アホになりすぎてまともな会話にならない。

[wal0314]

学習データ汚染も進化しているようなので、必然の流れかも

[bxmcr]

予告なく常に改善しているのか……。性能改善とコスト低減と、その他にも多様な方向性を全てが良くなるように改善するのは難しいのだろう。

[ookitasaburou]

“ただし、この論文は査読前のもので第三者によるレビューは受けていない。”

[dgen]

故意に間違ったことを教えたりする人もいるし故意じゃなくても間違ったことを教えたりする人もいるしそういうのを順調に学習しちゃったのかな？

[kagoyax]

使う人数が増えれば精度が上がるは正しく情報の取捨選択ができる場合の話で今はそうじゃないから悪化することもあるわな

[quwachy]

多分だけど大風呂敷を広げた手前低性能なモデルを出すわけにいかず最初は人間が返答していたんじゃないかな、だから異常に反応が遅かった。今はAIがやるようになったとか

[ysfm]

認知症？

[finefinethankyou]

“GPT-4の精度は3月版で97.6％だったものが、6月版は2.4％まで低下。”, ” 一方、3月版GPT-3.5の精度は7.4％だったのが、6月は86.8％まで向上。” プラグインいらんので課金する必要ないじゃん

[hatest]

人間に近づきすぎた結果、老化も学んだのかもよ

[qawsklp]

早くも限界がきたのか？...

[mayumayu_nimolove]

計算機でやればいいじゃん

[asuka0801]

アルジャーノン……

[homarara]

衆愚の可視化

[stracciatella]

人間同様世間で汚れたのだろう

[mottiri_omoti]

アルジャーノン…

[toaruR]

下4桁が日付みたいなモデルは性能固定されてるのかな？（´－｀）サービスに組み込んだとき、期待される結果が得られなくなって崩壊しちゃう怖さ

[timetrain]

汎用モデルに全部まかせるのではなく、用途別にわかれてくるのかな。何か対策しようとすると歪みがでるのか

[ryouchi]

まだExcel の計算結果を電卓やそろばんで検算する感じで生成AIを使わなきゃいけない感じなんかな？