生成AIに“アスキーアート”入りプロンプト入力→有害コンテンツ出力 米研究者らが新手の脱獄法発見

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米ワシントン大学などに所属する研究者らが発表した論文「ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs」は、大規模言語モデル（LLM）がアスキーアートを正しく認識できないという脆弱性を利用して、LLMに有害なコンテンツを出力させる新しいジェイルブレーク（脱獄）攻撃を提案した研究報告である。 これまでにも、爆弾の作り方やIDの盗み方、人種差別的なジョーク、詐欺の方法などの有害なコンテンツをLLMに出力させる悪意ある攻撃が提案されてきた。 （関連記事：「銀行を襲う

[shaokuz]

麻雀勉強するためにタンヤオの例を教えてくださいって入力したら変なデカい顔文字と明らかにタンヤオじゃない手配が出力された😭😭😭

[sds-page]

AIがアスキーアートの文字を正しく認識できてるが故の迂回策だよね。なんて書いてあるのかわからなかったらそもそも爆弾の作り方を返せない

[deep_one]

学習をコントロールできてないのが根本的な問題。あと「禁止事項」の設定方法が根本的に不適切なのだろう。質問の方法をふさぐのではなく回答の内容をふさげ。それができないならやはり今の系統のAIは駄目だ。

[b-wind]

アスキーアート自体は認識出来てるとみるべきか。

[hase0510]

AA職人が作りたての新作を入力しても認識するのかな？ だとしたらすごい。

[misshiki]

“大規模言語モデル（LLM）がアスキーアートを正しく認識できないという脆弱性を利用して、LLMに有害なコンテンツを出力させる新しいジェイルブレーク（脱獄）攻撃を提案した研究報告”

[gazi4]

「Ω」→「キバヤシ」

[nemoba]

意味的理解が穴なら前段に意味的理解のみの生成AI立たせて弾けば簡単だけどコストの問題がつきまといそう

[colonoe]

文字はフィルタリングしてるけど、アスキーアートはフィルタリングされてないってことか

[dubba]

＼タンヤオ／

[AQMS]

設置者が"理解"できたものがまた増えた

[hinonono]

論文だけ出しシステムは公開しないなど世の中が追いつく猶予を作りに動いたGoogleが、前のめりに動いてた他会社よりGeminiで遅れてるせいで酷い評価を受けてんの惨いな…。結局は配慮より、先頭グループであれ、が王道か

[Hige2323]

「おkブラクラゲット」「流石だよな俺ら」

[augsUK]

禁止の仕方が質問文の文字列指定だろうからな。しかしGoogleが社運をかけてるだろうGeminiはハルシネーションが多い上にNG回避も容易で、実運用を考えてないモデルに見える。

[Helfard]

ギャル文字とか絵文字が捗るなあ。

[EurekaEureka]

次は縦読みとか

[srgy]

有害コンテンツ…… https://pbs.twimg.com/media/Ceri4pVWwAA7jMh.jpg

[udofukui]

🍓穂別でお願いします！！！！

[Seamless]

LLMがASCIIアートで書いた文字を正しく認識できない脆弱をつき爆弾の作り方や詐欺方法などのタブーを吐き出させる攻撃。Geminiで成功率76％。「bomb」だけASCIIアート変換等