GPT-4oの中国語に異常 ポルノ、ギャンブルで トークンが汚染されていた
GPT-4o’s Chinese token-training data is polluted by spam and porn websites GPT-4oの中国語に異常 ポルノ、ギャンブルで トークンが汚染されていた オープンAIの最新の大規模言語モデル「GPT-4o」の中国語トークナイザーに、ポルノやギャンブル関連の用語が大量に含まれ、ハルシネーション（幻覚）が発生していることが分かった。訓練データのクリーニング不足が原因と見られる。 by Zeyi Yang2024.05.28 3 10 オープンAI（OpenAI）が5月13日にチャットボットの最新バージョン「GPT-4o」をリリースした直後、一部の中国語話者は、何かがおかしいことに気づき始めた。テキストを解析するために使われるトークン（モデルが取り扱う言葉の単位）がスパムやポルノフレーズであふれていたのだ。 チャットボットな
