GPT-4の日本語読解力の限界に挑戦するために普通の翻訳では全く不可能な『コンビニコピペ』を訳させたら70点ぐらいの理解してるのやばすぎる

刈宮 宥 @Callimiya GPT4の日本語読解力の限界に挑戦してみた 普通の翻訳では全く不可能なコンビニコピペを訳させる この文章を70点ぐらいの理解してるのやばすぎる pic.twitter.com/Fow6s47Ify 2023-03-30 21:25:30 コンビニコピペ全文 客「ｺﾚ、ｵﾈﾁｨｰｽ」 店「ﾁｽ、ｺﾚｯｽﾈ、ｳｨｯｽ」 客「ｳｨ」 店「……」ﾋﾟｯﾋﾟ 客「ｵｳｪ！？ｳｪｳｪｳｪ、ｳｨｳｨｳｨ」ﾀﾀﾀｯ 店「？」 客「ｺﾚﾓ、ｼｬｽ」 店「ｳｽｳｽ、ｵｹｽ」 客「ｻｲｾﾝ」 店「ｲｪｲｪ、ｾﾞﾝｾﾞ、ｼﾞｮﾌﾞｯｽｼ、ｲｰｽｲｰｽ」ﾋﾟｯ 客「ｳｨｧ…」 店「ｨｰ…ｺﾁｬｰﾉｺﾉﾐｬｷ、ｱﾀﾀｯｽｶ？」 客「ｿｯｽﾈ、ﾁﾝｼﾃｯｻｲ」 店「ﾜｶﾘｬｯｼﾀ、ｱﾀﾀｯｽ」ﾊﾞﾀﾝ 客「…ﾉｳｪ」 店「ｨｪｱｰｯﾄ、ｺﾞﾃﾝﾃﾞ、ｹｰｻｰｾﾞｰﾆﾅﾘｬｯｽ」 客「ｻｾ

[Knoa]

いや、この手の「既存の文章」を解釈させるのは、評価テストとして怪しい。学習元の膨大なデータの中に、コンビニコピペを人間が翻訳した文章や、部分的にでも解釈したコメントなどが含まれてしまっているはず。

[shunkeen]

大規模言語モデルの強みの一つである、In-context Learningの性能を測ると言う意味では、学習データに使った文章で性能を測るのは、特段問題ないようにも思う。パラメータのサイズからして文章は丸暗記できないだろうし。

[snailcat]

ついにモスバーガーの食べ方怪文書の意味がAIによってわかる日が来たのか…？

[LM-7]

ネットの何処かにある解説を学習していていた可能性もあるが、多分多少変えてもそれなりに訳してしまいそう。

[altar]

人間なら容易に読み取れるマヨネーズ・レシートが解釈できてないあたりに「知能」ではない特性がでてるなあという感じ。

[misshiki]

“このテストはベンチマークとしても優れてるかも。”

[saikyo_tongaricorn]

もう数人が既に食わせてたのでは…

[strawberryhunter]

もう笑うしかない。

[kagehiens]

英語って、会話での標準の発音がコレみたいなもんだよな。リルビットやばい。

[chintaro3]

「逆になんで人間はこれわかるんだ」

[togetter]

これを理解できるとは…恐るべし！

[greenbuddha138]

マヨネーズ出てくるまでお好み焼き分からんかった

[toaruR]

優秀(*´д｀*)

[mk16]

関連：ﾀﾞｧｼｴﾘｲｪｽとは (ダァシエリイェスとは) [単語記事] - ニコニコ大百科https://dic.nicovideo.jp/a/%E3%83%80%E3%82%A1%E3%82%B7%E3%82%A8%E3%83%AA%E3%82%A4%E3%82%A7%E3%82%B9

[kenzy_n]

日本語を理解してきた

[mayumayu_nimolove]

このコピペ知らんぞ

[kurage_lizard]

日本人でもこれ以下の解釈しかできない人はいそう。マヨネーズと支払いのくだりは難しかったか。。