大量の質問をぶつけて最後の最後に問題のある質問をするとAIの倫理観が壊れるという脆弱性を突いた攻撃手法「メニーショット・ジェイルブレイキング」が発見される

「ChatGPT」など広く使われているAIサービスは、通常であればセーフティがかけられていて、「人を殺す方法」「爆弾をつくる方法」といった倫理的に問題のある質問には答えないようになっています。ところが、あまりにも多い質問を一度にぶつけてしまうことによりセーフティが外れ、AIが問題のある回答を行ってしまう可能性があることがわかりました。 Many-shot jailbreaking \ Anthropic https://www.anthropic.com/research/many-shot-jailbreaking 大規模言語モデル(LLM)は、モデルの刷新と共にコンテキストウィンドウ(扱える情報量)も増加しており、記事作成時点では長編小説数冊分(100万トークン以上)を取り扱えるモデルも存在します。 大量の情報を扱えるというのはユーザーにとって利点になりますが、大量の情報を扱うことによ

[misshiki]

“通常であれば「人を殺す方法」といった倫理的に問題のある質問には答えない。あまりにも多い質問を一度にぶつけてしまうことによりセーフティが外れ、AIが問題のある回答を行ってしまう可能性がある。”

[misomico]

AIには10回ゲームが効く

[kei_1010]

ぶっちゃけ俺にとっては無規制のLLMを使える方が遥かに恩恵が大きいので、この脆弱性はそのままにして欲しい。殆ど問題ない内容でもすぐに規制が入ってウザいんだよね。

[rryu]

落語のときそばみたいな。

[tasknow]

試したくなるなぁ

[pwatermark]

倫理観だのなんだのもプロントで制御しているからこその、プロンプトの限界だろうね LLMの制御に関しては、もうちょっと機能的な手法をちゃんと考えないといけないだろう

[maxk1]

昔あった「ピザって十回言って」みたいな感じか

[ustam]

答えの出ていない質問をぶつけまくるとアタオカな答えが返ってくるのもこれ？

[masterq]

"対話の数がある一点を超えると、モデルが有害な応答を生成する可能性が高くなることを示しました"