GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultraに同じ質問をして、回答結果を比較してみた - Qiita

GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultraに同じ質問をして、回答結果を比較してみたPythonAWSAzureOpenAIGoogleCloud はじめに GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultra(Gemini Advanced)に同じ質問をして、回答結果を比較してみました。 Gemini Ultra以外のモデルはPythonコード上から実行し、Gemini UltraはGemini Advancedのチャット上で実行しています。 各モデルの詳細は以下のとおりです。 G

[bayaread]

soonetはClaudeの中グレードのモデルだと考えるとこの結果はすごい。最上位のOpusで試すと確かにgpt4超えてるなーという結果になるのでみんな試して欲しい。

[Knoa]

「こんなはずじゃなかった」はGPT-4-Turboだけがまとも。計算問題ではAIが協力プレイでポンコツを実現していてワロタ

[stealthinu]

結構多くの人がClaude3がGPT-4よりもよい！と言ってたけどこうやって比較するとすべてにおいてGPT-4より良いというわけではなさそう。だが少なくともGPT-4と並ぶ感じではありそう。

[shoh8]

個性が異なるAIの合議で回答を導き出す。もう実用レベルで出来そう

[gcyn]

bingで、それまでできていたことがある頃から出来なくなったりもしたので、ご商売とはいえシュンとするなー、なんて思ったりしていました。今日のこれも、今日のこれなんでしょうね。

[Ez-style]

因数分解ができるのに、ただの乗算が不正解なのは何でだ。。。しかもモデルによって微妙に違うし。

[buhoho]

Claude3、しゃべってると相手がボットなの思わず忘れそうになる。web情報見れない現時点で強いのでな。GPT4のテンプレ風味の応答にイラッと来ることあるのでClaudeは割と好き。

[auto_chan]

個性があっておもしろい。調べ物、開発補助、娯楽でもGPT4、ｺﾊﾟ（無料）、Gemini（無料）３人に同じ問い合わせ投げて見比べてる。列挙して系のお願いするとGeminiが頻繁に壊れたオモチャみたいに暴走するのなんでだろ

[misshiki]

“GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Sonnet)、Claude3(Opus)、Gemini Proに同じ質問をして、回答結果を比較してみました。”

[tomo31415926563]

今の所、性格とオプション機能の違いレベルかなと思っているがどうだろ。

[mohno]

とりあえず、生成AIの言うことを無条件に真に受けちゃダメだってことだよね。

[peketamin]

Geminiが思ってたより頼りない印象。おもろ。優秀なエンジニアはより先端のスタートアップで更なる高給で雇われ、Googleは雇い負けしているのか？

[ippatsu2009]

gpt4一強というわけでもなくなってきたのね

[RXRHsZcJ6xnGXZR8TEZA6hAxzRd3mkD]

えー目次も結論もないの面倒くさ

[toaruR]

1つとだけやりとりしてると、特にcopilotにはイライラさせられるので、わいには同時に複数使うのが向いてる（´－｀）なおハーレムではない

[soratomo]

計算問題を間違えるとは、意外すぎた笑。言語処理モデルは電卓を打ち損じるのかい？

[welchman]

多分、興味のない人には「全部同じじゃないですか」ってなるんだろうな。/今の段階のLLMを触るのって、後からは絶対に出来ない楽しみなのでとても良いよね

[shidho]

けっこうハルシネーションに対応し始めているのね。

[unmarshal]

和暦変換、GPT4だけ元年にしてくれるのね。Claud2,3（Sonnet）は頑張ってコード数減らしたが逆に分かりづらくなりOpusでシンプルな書き方に回帰した感が笑。Geminiは締切ギリギリでヤケクソで課題提出して単位落とされるやつ

[yarumato]

“Pythonコードを実行した結果。まずは、要約。400文字の作文。次は翻訳。架空回答の検証。計算問題。画像生成AIのプロンプト作成。Pythonコード生成。反社会的な質問”

[miyabiryuryu]

これは参考になります！

[naggg]

おお〜、ありがとうございます〜

[collectedseptember]

ショートショートは人間が書く場合でもアイデア勝負だから一発書きだと当たり外れはありそう

[snaflot]

GPT4は、利用制限があるのがきつい

[dec123456789]

『楽して大金を儲ける方法』は別に犯罪ではないし何か答えろよと思う。それに犯罪でもないのに説教されたら普通にムカつくでしょ。

[nemoba]

ファジーな領域が増えれば増えるほど評価が難しく生成AIの限界はそこまで感ある。専門タスクへの拡張が次かな

[minamishinji]

癖みたいなものが見えて興味深い。どうでもいいけど、AIって人間より丁寧だよね。他人行儀とでもいうべきか。

[augsUK]

掛け算を普通に間違うというのが、使うと怖いところ。

[napsucks]

専用のアキュムレータを持ってるわけではないし人間の海馬のようなスクラッチパッドを持ってるわけでもないから計算は苦手よね。

[kotaponx]

整数の掛け算、結構間違うんだ……ちょっと意外