AIが生成する画像を「ネコ」にするサイバー攻撃 絵師らを守る技術「Nightshade」 米シカゴ大が開発

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 米シカゴ大学に所属する研究者らが発表した論文「Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models」は、生成AIモデルの無断学習を抑止するために、学習されても予期せぬ動作をAIモデルに生成させる毒入りデータに画像を変換するツールを提案した研究報告である。 この攻撃は「Nightshade」と名付けられ、約200枚の細工画像をモデルの学習データに紛れ込ませるだけで、特定の単語に関連する画像生成を高確率で操作できてしまう。 攻撃者は特定の単

[hinonono]

主要なデータセットの一部(LAION等)は、画像とそのアクセシビリティ用の説明文(ALT属性)の対なのに、それで助かってる障害者や高齢者にNightshade(ベラドンナ)盛って失明に押し戻そうとするなよ

[shinkuhadouken]

こんな技術ができるって、そりゃ泥棒だからだよな。

[ikihaji_kun]

人間とAIの学習が同じならNightshade画像を見た人間もバグるはずだが ／ GPUが対応してない人はこちらでGlazeとNightshadeを利用できるよhttps://twitter.com/TheGlazeProject/status/1778487264835985499

[nomitori]

毒入りを検知して学習しないAIができそうね…

[nakex1]

攻撃があることも想定して出力の正確性を上げるための開発は常にしているだろうからいたちごっこになるだろうな。フェイクによる世論操作のようなことも防がなければならないし。

[uotocs]

どうやってモデルに潜り込ませるんだろう

[colonoe]

実際に調べた人が全然効果が無いと結論を出していた改良されたの？　https://togetter.com/li/2298571　／　あと加工に生成AIを使ってるから生成AIそのものを批判する人は使えないんだけど。児童ポルノを学習してるとかで

[yuma_0211]

「Nightshade」は元々あるけど、より効率化されたってことなのかな。普通にNightshadeをかけて上げた場合のモデル破壊にはどれくらい枚数必要なんだろ

[enemyoffreedom]

虚構新聞かと思った

[kamei_rio]

"異なる単語を大量に同時に攻撃することで、モデル全体の性能を大きく低下させることすら可能であるという" にゃんこ大戦争

[kuzudokuzu]

喜んだり笑ったりしてる連中には申し訳ない（とも特段思っちゃいない）が、これを恨んだ人がネコを標的に何かしても俺は同情心も大した痛みも感じない。だが喜んだり笑ったりするほど、落差は大きくなる。いつでも。

[q-Anomaly]

面白い技術

[ko2inte8cu]

多くの生成AIはWikipediaを読んで勉強している。Wikipediaの記事に発見しにくい嘘や偏見をこっそり織り込めば、AIはアホになる。Wikipediaはオープンだから、やろうと思えば可能。

[Tetrapost]

「驚くべきはその効率の良さで、約200個程度の細工データでも攻撃が成功してしまう。さらに、細工画像は人間の目には自然な画像に見えるよう巧妙に最適化されているため、人手での検知は極めて困難である」

[buhoho]

学習に影響を与えるだけの毒ってがっつり元作品の画質に影響しそうだけど、どうなんだろう

[nekoruri]

ﾈｺと和解せよ

[gabill]

犬と猫はともかく、男か女か、子供か老人かの違いだと例外データ多そうだけどどうしてるんだろう

[hatebu_admin]

ネコと和解せよ

[cinefuk]

poisoned「学習されても予期せぬ動作をAIモデルに生成させる毒入りデータに画像を変換するツールを提案した研究報告」

[Seamless]

約200枚の細工した画像をモデルに学習させるだけで成功。