【2024年最新】共通テストを色んな生成AIに解かせてみた（ChatGPT vs Bard vs Claude2）｜株式会社LifePrompt

2023年の流行語大賞にも選ばれた「生成AI」。 ChatGPTだけでなく、Google BardやClaude2など似たようなAIチャットボットも登場し、性能も日に日に上がっている感覚がありますね。 しかし、結局どれが一番賢いんだろう？と思いつつひとまずChatGPTを使っている方も多いはず。 そこで、今どのチャットAIが一番頭良いのか白黒つけてしまおう！ということで、ちょうど週末に行われた大学入試共通テスト2024を使って学力テストを行いました！ 参加する学生は、 ①GPT-4くん ②Google Bardちゃん ③Claude2さん の三名です 果たして誰が学力王の座に輝くのか・・・？ 選手入場①GPT-4くん一人目は、皆さんご存じChatGPTです。Open AI予備校に月額＄20の課金して学力武装しています。 特徴としては、プロンプトの研究が進んでおり、画像やPDFファイルの読み

[gfx]

"①単純な知識問題や読解問題は瞬殺で正解するようになった ②複数の処理を同時に求められると急激にパフォーマンスが悪くなる" / 非常にすばらしい研究。生成AIの得意不得意がよくわかる。

[ton-boo]

“この例の場合、「風俗」か「恋愛」のどちらか又は両方が阻害要因となっていたようです” AIのくせにこのあたり昔ながらの単純なNGワードブラックリスト感があって面白い

[hase0510]

LLMが「思考」をしていないことがよくわかるね。「思考」をせずに流れに合わせてそれっぽいことを言うだけで知性があるように振る舞えてしまうのがLLM登場による一番の驚き。

[muchonov]

新しいLLMが出るたびにAI驚き屋が煽りタイトルつけて出す記事も、結局「GPT-4の方が好成績」って結論が多いよね。／しかし得点が大学受験者の平均を上回るなら「これはもうAGIと呼んでいいだろ」と思う人もいるのでは

[morita_non]

東ロボくんとどっちがかしこいん？2016年で525/800で 62.5%け。結構優秀だったのか。。。

[regularexception]

理系のほうが解が一つになり知識と計算でできるコンピュータには得意なはずが、機械学習になると文系のほうが得意になるんか

[sechs]

今のLLMは考えずに直感で答えを求める人と同じことをしているんだろう。人間のようにじっくり論理的に考える機能はいつ追加出来るかな。

[enemyoffreedom]

やはり数学は鬼門か。そしてそれでも4-5割近く取るGPT-4の化け物ぶり / 追記: 東ロボくんはセンター試験では偏差値換算で60弱は取れてたはず。まぁセンター試験専用にチューニングしてたのだろうが

[posmoda]

数学は傾向からの推論で解くものじゃないからね…

[minamishinji]

面白い。 / どのAIも数学はまったく受験者平均に到達していないんだな。大規模言語モデルって文系脳なのか…

[mera85326b]

GPTさんは受験生平均を超えたけど、複数事項の同時処理は苦手と（じゃあ、人間は？）

[mumei-0]

“優勝は断トツでGPT-4くんとなりました！”

[qinmu]

《複数の処理を同時に求められると急激にパフォーマンスが悪くなる》← 「ステップ・バイ・ステップで考えて下さい」というプロンプトが効果がある所以。

[hihi01]

もう事実上の東大ロボ爆誕ですね。

[pekee-nuee-nuee]

数学がへぼいのが可愛いというかなんか地頭だけでなんとかなってる受験生っぽくて味わい深いな。Wolfram Alphaも入れてくれ(生成AIじゃないが)

[omega314]

ググるのアリにしたら似たような平均点になるんやろか。

[shodai]

“逆にAIが苦手としているのが、「複数の処理を同時に求められる問題」です。満点を取ることができなかった原因もこれです。”

[BlueSkyDetector]

生成AIは論理的ではなく、推論でそれっぽいことを返すのが得意なので文系の方が得意なんだろうね。

[tekitou-manga]

迷いどころあってもしっかり断定！はワロタ

[yas-mal]

数学が苦手という当然の結果だけど、Wolframプラグインを使ってどこまで行けるのかは気になる。数式を解くのは、大規模言語モデル単独で解くのは諦めてそちらにシフトしてると理解してるので。

[iksmpic]

面白い使い方。自分の感覚だろもっともっといい点取れると思っていた

[georgew]

むかーし東ロボくんってあったんだけど今どうしてるんだろうかとふと遠い目になった記事。

[spark7]

やっぱり英語強えな。リスニングは当然無しか。

[seachel]

LLMが思考してると思い込んでるやつが多いが、あれはただの確率機なので……

[progrhyme]

現在の生成AIが得意なことと限界が垣間見える面白い取組み

[avictors]

作業が複数重なると壊れるのは重ね方の情報が少ないからかな。数学は、人間なら多分当て込み帰納と演繹の間の往復繰り返して解くけど、生成AIはおおまかには帰納のみなので解けない。

[machida77]

数学のああいうタイプの出題は得手ではないんだな

[DG-Law]

去年のChatGPT4が出たての頃にも同じような実験をしていた人がいた。／共通テストの地歴はもう完全に人間の平均点を超えてしまったな。

[Y_Mokko]

数学できないのは割と当たり前で計算してないからに過ぎない。それでもそこそこ答えられてるのは機械学習のおかげ

[hesocha]

最近の入試って英語力の強化に熱心な印象があるのだが、こういうのみると、そこはAIに任せて他の力つけた方が良いんじゃないかと思う。

[amematarou]

アメリカの試験は小論文みたいなのが多いから司法試験とかMITの試験とか合格したとか言われるのかな

[kazoo_oo]

数学に関しては「データベースは答えを出さないのさ」を地で行ってる感があるな。DBじゃないけど。

[bml]

分析レポートとしては面白い。

[nemoba]

生成AIは文系を殺すマシーンと煽りたくなる結果

[otihateten3510]

おーすごい、俺より賢い。数学苦手だよなこいつら。

[washi-mizok]

生成AI大爆発に東ロボくんプロジェクトはどうした

[aneet]

噂がちらほら聞こえてきてるGPT-4.5や5でどのくらいになるのか楽しみ