エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
対話型AIが「暴走する」とは?【プロンプト・インジェクション】
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
対話型AIが「暴走する」とは?【プロンプト・インジェクション】
どちらかというと、「混乱・予期しない動作」という方が正しいかもしれません。 会話AIは、知識データベ... どちらかというと、「混乱・予期しない動作」という方が正しいかもしれません。 会話AIは、知識データベースに、直前の会話を加えて、回答を生成します。 そのため、回答に満足しない場合は、さらにAIとの会話を続けることで、検討を進めていくことができます。つまり、一連のやり取りの間は、会話全体をもとに回答を生成します。 反面、相手の会話に影響を受けるしかし、それは「仇」にもなります。 というのも、直前の会話内容によって回答が影響を受けやすいようなのです。 悪意のある利用者は、会話AIから「失言」を引き出そうと、あの手この手の質問を投げかけます。 その中に、嘘や暴言が多いと、会話AIもそれを「学習」してしまい、本来 禁止されている暴言を回答してしまうのです。 通常の利用においても、AIが自分の会話の影響を受けている、ということは知っておくのは大事です。 「都合のよい回答をしがち」かもしれません。 会