Anthropic「Claude 3 Opus」がLLM評価指標「Chatbot Arena」で初めてOpenAI「GPT-4」のパフォーマンスを上回る快挙を達成

2024年3月に発表されたAnthropicの大規模言語モデル(LLM)「Claude 3」は、20万トークンまでのコンテキスト長に対応しているほか、わずか2つのプロンプトから量子アルゴリズムを設計可能との報告も挙がっています。今回、AI研究者が大規模言語モデルの相対的な能力を測定するために使用する「Chatbot Arena」において、Claude 3の上位モデル「Claude 3 Opus」がOpenAIの大規模言語モデル「GPT-4」の性能を初めて上回ったことが報告されました。 Anthropic's Claude 3 replaces OpenAI's GPT-4 as most popular user-rated LLM https://the-decoder.com/anthropics-claude-3-replaces-openais-gpt-4-as-most-popu

[kotesaki]

でも現実のClaude3ってChatGPT Plusよりハルシネーション多い感じがするのでちょっとコワい。ChatGPT4よりさらに自然にまことしやかな嘘をつく感じ(笑)

[misshiki]

“今回、AI研究者が大規模言語モデルの相対的な能力を測定するために使用する「Chatbot Arena」において、Claude 3の上位モデル「Claude 3 Opus」がOpenAIの大規模言語モデル「GPT-4」の性能を初めて上回ったことが報告されました。

[aminisi]

両方契約して同時に動かして結果を相互評価させてるけど、翻訳とかでもClaudeとかのほうがよいし全体的に文章も自然な感じではある。ただURL読込機能ないのにURL貼ったら嘘をべらべら喋ったから怖いとこはある

[maninthemiddle]

まあもうすぐGPT5出るけどな…

[twotiger]

俺もclaudeはハルシネーションの多いと思う。gpt4に比べてカットオフが古くて、インターネットアクセスできないんで、余計にハルシネーションが目立つ。gpt4の方が安心して使える