ChatGPTを献立提案AIにして「プロンプトインジェクション攻撃」を仕掛けてみた 開発時にはご注意を

ChatGPTを献立提案AIにして「プロンプトインジェクション攻撃」を仕掛けてみた 開発時にはご注意を（1/2 ページ） どんな質問にも“それらしい答え”を返してくれるAIチャットbot「ChatGPT」。2023年には米Microsoftの「新しいBing」も登場した。では、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。 本連載では、ChatGPTや新しいBingにさまざまな問題を投げかけて、どんな答えを返すか試してみる。その反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。 献立提案AIにした上で攻撃してみる 今回は、ChatGPTを献立提案AIとして動くようにした上で、簡単なプロンプトインジェクション攻撃を仕掛ける実験をする。 実験の手順は以下の通り。まず、ChatGPTを「食材名を入力するとその食

[ytRino]

ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita https://qiita.com/sakasegawa/items/09d9f6a485108f5a618a

[misshiki]

“プロンプトインジェクション攻撃”

[shunkeen]

ソーシャル・エンジニアリングが取り沙汰された時は、人間が最大のセキュリティホールと言われたものだが、プロンプトインジェクション攻撃によって、AIが最大のセキュリティホールと言われる日が来るのだろうか。

[sora-papa]

朝比奈さんの禁則事項みたいな話。

[deep_one]

プロンプトインジェクションって、そういうレベルの事なの？／スタートレックのコンピューターみたいに「権限がありません」を返すようにならないと駄目だな。

[Listlessness]

なるほど。そういう攻撃なのか。