AI成果物が急増したことで「AI生成コンテンツをAIが学習するループ」が発生し「モデルの崩壊」が起きつつあると研究者が警告 - GIGAZINE

Adobeが権利的にクリアなトレーニングモデルを用いた画像生成AI「Firefly」を発表したり、Microsoftの検索エンジンであるEdgeで対話型AIのChatGPTが活躍していたり、世界的なコンサル企業が「社員の50％は業務にジェネレーティブAIを活用している」と明らかにしたりと、ジェネレーティブAIは社会に広がり続けています。しかし、AIを使用してコンテンツを作成・公開する人が増えていることで、新たな問題として「AIが生成したコンテンツがインターネット上にあふれ、それをAIが学習することで、重大な欠陥が生まれている」ということが研究者グループから指摘されています。 [2305.17493] The Curse of Recursion: Training on Generated Data Makes Models Forget https://doi.org/10.48550/

[kako-jun]

ゴーストダビングで情報が劣化してく現象と似てる。オリジナルに生きててもらわないと機械だけだと機械が不安になる、という話がアウターゾーンにあった

[hobbiel55]

AI生成であることを明示するのはAIを開発する側にとっても必要ということだな。放っておくと萌えキャラの目やBMWのキドニーグリルがどこまでも大きくなったりするのだろうか。

[w_bonbon]

吸収系の能力者が吸収しきれなくなって爆発するあれみたいだ

[odakaho]

将棋AIは自己対局で強くなってるぞ

[tambo]

なるほどと思う反面いままで人間も同じことをしてきたんじゃないの？って気がしないでもない

[Tamemaru]

ただしそれは、人間の手による選別を受けた出力結果であることを留意すべき。

[tattyu]

それ崩壊じゃなくて過学習っていうのでは。この先どうやってAIを賢くしていくのかは興味がある。

[laranjeiras]

「視覴」「知覘」 https://okumuralab.org/~okumura/misc/230611.html

[nakex1]

AIで書かれたものかどうかを判定する技術も研究されているので，そのうちAI自身で解決できるようになるかも。で，それをかいくぐるAIも出ていたちごっこを繰り返しつつ人間のたどり着けない精度に進化していく。

[smicho]

人間が嘘をついたり露悪的になったりするのは均質化の弊害を回避する仕組みだろうか。

[yuma_0211]

]

[masadream]

「人間によって生成された元データは世界をより公平に表している一方」本当にそうか？ただの定義の問題かも？

[tsubosuke]

将棋や囲碁のように客観的に強さが判定できるものであればいいが、人が見て良い絵だと思うかどうかは曖昧なので、AI同士で永遠に対局させて強くなるというのは、絵の場合には当てはまらないんだな。

[yotinakk]

すでに人間で同じことが起きてますがな。

[deep_one]

前から言われてた奴。

[quwachy]

LLMは知識と言語を分ける目処がついてるから問題ない。画像はタグに低品質をつければ問題ない。

[tomo31415926563]

判定機通せばなんとかなるだろう

[rti7743]

経験則だが、AIが作ったものをそのままLoRA学習器に入れるを3回ぐらいやるとかなりの過学習なる。1回か2回が限度かなあ。1回目でノイズが入るとそれが思わぬ形で出るのでデータを綺麗にする工程が重要になるよ。

[buu]

遺伝的アルゴリズムと突然変異の要素を取り入れて多様化させてはどうか。

[amd64x64]

人が見て選ぶ過程とSNSやらで共有される過程があるので、人の求めるものに収束していくと思う

[kagoyax]

ここらへんのチューニングは人間様がやらないといけないな。AI介護職

[tetsu23]

マモー化していくわけですね。

[sutannex]

インターネットがゴミ情報で溢れ信頼性がなくなり、紙管理に戻った時代みたいなSFあるけど、それの始まりみたいになってる。

[Eiichiro]

将棋AIに二歩や打歩詰のある手筋も学習させたらどうなるか？って話よね。AIがハマる隘路をついて勝った将棋は防止用の措置を入れてたりするので、ちゃんとしたルールや人間のフィードバックが必要という話なのかと。

[adsty]

AIコンテンツによって学習データが崩壊していく。

[tach]

AI成果物の塊と化したネットの中でAIの学習過程がループ化してAI崩壊。どう答えたら正解と判定されるかの経験則を蓄積してるだけで問題そのものを考察してないんだから元々「知能」じゃないじゃん今のAIって…？

[bean_hero]

garbage in, garbage outになりそうだけど、どこかでそれを超越するのだろうか。本当のシンギュラリティはその超越かなと思うけど、garbage in, garbage outに社会が振り回されるのが目先のシンギュラリティって感じがする。

[hiromo2]

なんならオリジナルは創作意欲が減退してて、参照先が先細る可能性すらある。

[weathercook]

OpenAIの論文でも学習データにAI（）で水増ししたデータを使っていたのであまり問題がない気がする。

[junglejungle]

人間が描くイラストや漫画もクラスタ内の中で学習を重ねてとても人体とは思えない構造しているわけだけども。顔のほとんどが眼球のキャラとか。漫画のストーリーも一見さんお断りなお約束だらけ。

[miyabiryuryu]

終わりの始まりだな。粗悪な生成物が良質なオリジナルを駆逐する。

[blueboy]

将棋 AI は、正解を学ぶことで、人間よりも強くなる。最近の AI は、エラーを取り込むことで、ますますエラーを出す。例。六本指の人間の画像。腕が三本ある人間の画像。／ 知ったかぶりの誤情報を書いた ChatGPT の文。

[dp212]

そのうちAIに支配された繭の中の人間がAIのためにデータを入力し続ける世界になりそう…

[outalaw]

新たな事実を注入しない限りエコチェンの極み。そして新たな事実の注入は今のところ人間以外できない。

[mopx]

牛に牛（肉骨粉）食わすと効率いいよね→BSE 牛海綿状脳症→ クロイツフェルト・ヤコブ病みたいな流れを感じる。コンテンツ汚染が人を死に至らしめる事は無いと思うが…

[Hidemonster]

クリーンなトレーニングデータをブロックチェーンなどで確保するビジネスをベリサインとかが始めそう。

[takahiro_kihara]

"Microsoftの検索エンジンであるEdge"BINGでなかったのか？イヤーン、エッジ？

[potsunento]

将棋とかルールがあるものはいいけどそれがないものはって感じかな

[igni3]

そんなん闇雲にデータ集めて学習させても分散でかくなるの皆知っとるよ。機械学習流行り始めた頃からクソデータ大量にあってもダメだと言われ続けたでしょ。技術的な解決は原理的にはできて品質指標いれればいいだけ

[tdaidouji]

出力が人間の既存のロジックにとって役に立たないってだけの話なので、AIとAIの間では問題なくやり取りできてるなら、それはそれで