GPT-4oの中国語トークンはポルノとスパムに汚染されている

2024年5月にOpenAIの最新AIモデル「GPT-4o」が発表されました。テキストや音声、カメラの入力を人間と同じぐらいの速度で処理可能という高い性能であることが報じられているのですが、一方で、中国語ユーザーからは、トレーニングに大きな問題を抱えていて、トークンデータが汚染されていることが指摘されています。 Just wrote a script to further investigate how the corpus used to train the gpt4o tokenizer is polluted by Internet scams. The results are quite interesting... 🤦‍♂️🤦‍♂️🤦‍♂️https://t.co/Fc2T4rSHix https://t.co/Q1Syh9amJn pic.twitter.com/lQ1u

[timetrain]

前々からなんJのスレシミュレートとかできたから、今更な話のような気がするが

[augsUK]

日本の5chやまとめサイトは、既存ドメインを乗っ取ったわけではないと思うのだが

[eagleyama]

“なお、日本語のトークンに関しても「風吹けば名無し」など、5ちゃんねるや関連サイトをもとにしたデータが含まれていることが示されています”

[yujimi-daifuku-2222]

ポルノや違法なデータがそもそもデータセットに含まれているという批判はクリティカルで、中々反論が難しい。/生成AI界隈はこうした批判と、今後長い戦いを繰り広げる事になるのでしょうね。

[ys0000]

Webとはそのようなごった煮なのです。クレンジングは不可能。

[misshiki]

“中国語ユーザーからは、トレーニングに大きな問題を抱えていて、トークンデータが汚染されていることが指摘されています。”

[welchman]

その「汚染」による悪影響って、そんなに無いのでは。人気コンテンツから学習するのは仕方がないよ。

[u_mid]

5chスレ内容再現指示の再現度高くて面白いよね

[soitan]

ソースは5chで草

[strow0343]

ソースは5ch

[kaos2009]

“無関係のページを乗っ取るスパムサイトが作られたことで、学習元のデータセットが汚染されたことに起因して発生していると推測”

[maemuki]

ｷﾀ――(ﾟ∀ﾟ)――!!

[puhu208n]

GPT系は訓練データの大半を英語にしないと動作せず、異言語の割合を増やすと壊れるっぽいんだよな。あらゆる言語に対応しているという建前自体が怪しい。

[gimonfu_usr]

"日本語のトークンに関しても「風吹けば名無し」など、5ちゃんねるや関連サイトをもとにしたデータが含まれて"

[shaokuz]

彡(^)(^)

[shinobue679fbea]

機械学習の限界というか、、、機械によるデータ選別の限界か？

[poad1010]

この記事をおすすめしました