性能劣化は本当なのか？ChatGPTの性能を検証した3本の論文を解説 | AI専門ニュースメディア AINOW

はじめに ChatGPTが公開されて半年以上が経過し、そのユーザは急激に増えて世界的に普及しましたが、その一方でユーザの一部からは「ChatGPTは性能劣化したのではないか」という疑問が出てきました。同AIの性能に関しては、生成された回答と人間が作成したそれとの違い、さらには政治的トピックに対する回答の党派性などといった疑問も生じます。 最近、以上のような疑問について調査した論文が発表されました。それらは、以下のような3つの問題を論じています。 疑問1：ChatGPTの性能は、経年変化しているのか。 疑問2：（Stack OverFlowに掲載された質問に対する回答のような）特定のトピックに関するChatGPTの回答はどのような特徴を持っており、人間が作成したそれとどのような違いがあるのか。 疑問3：ChatGPTを含めた言語モデルは、政治経済的トピックに関して何らかの党派性をもった回答を

[canadie]

コード生成させてるけどコードの実行確度が50%→10%になったってのがどうしても信じられない。あとGPTモデルは素数について雰囲気で回答してるので、CoTしてるとしても正答率が下がった=性能劣化は違うんじゃないかな

[ookitasaburou]

“性能劣化した調査項目は黄色で塗りつぶしています。”

[misshiki]

“研究成果から言えることは、ChatGPTをはじめとした大規模言語モデルは常に正しいわけではなく、生成された回答を重要な判断材料にする場合は、正しいと思われてもファクトチェックを怠らない、ということ”