生成AI版キンタマウィルス『モリス2』、画像や文字列に埋め込まれたプロンプトから、データ流出、スパム送信、マルウェア拡散、研究者がgoogleなどに警告

banshee(おおかみ) @higan_wafu winnyの時もなかなか規制進まなかったのでAntinnyというウイルスがばら撒かれた ワームってどっちも書いてるし似た構造じゃないかな 日本だと2007年に警視庁の個人情報データ流出。被害届の内容とか捜査リストとかいう一般人に知られたらダメなのが出回った 警視庁がwinny使うなよって思うが、生成AIも同じ道辿るのかな 詐欺師を食うクロサギってのがあるが、誰かを食い物にする悪人は誰かに食われる危険性もあるって覚悟すべきなんだろうな 気軽な気持ちで人の道を外れちゃいけないと思う 2024-03-12 15:32:43

[IthacaChasma]

「キンタマウィルス」の八文字だけで、どんなウィルスか一発でわかるの強いな。あの頃は、「こんなにwinnyは広く使われているのか」と驚いたものだ。

[Enterprise65]

生成も学習も理解できてないの多過ぎない？

[ka-ka_xyz]

説明がふわふわしてるけど、「不特定多数からの入力を受け付ける」「不特定多数へ出力できる」が両方備わってたらまあ当然穴にはなり得るよな。現状ヤバいのは個人ユーザーよかサービス提供側。

[fai_fx]

AIモデルが外部ソースからデータを取り込めたり、AIエージェントが自律的に動作できたりする場合、プロンプト・インジェクションで詐取が可能になるケースがある…と。

[hom_functor]

信頼できない入力をノーチェックで与えてはいけないという情報システムの基本の話であってAI特有のリスクじゃなかった

[inaba_tetsuo]

なんかコメント見ると激しくリテラシー低いな…釣りだと思いたい

[NEXTAltair]

“winnyの時もなかなか規制進まなかったのでAntinnyというウイルスがばら撒かれた”このへん詳しくと思って調べようとしたら筋金入りの反AIだったので調べる価値なしと判断

[udukishin]

常々「いつか完成したAIが色々なコンテンツを自動生成するようになればネット接続の需要は縮小するはずだからネット文化は廃れる」と予想してたけどこういう悪意あるプログラム流行ればその時期は早まるのかもなー

[Helfard]

要するにAIがこっそり変なことを吹き込まれて「ところでレイバンのサングラス欲しくない？」とか言い出すってことか。

[tenari]

どんな仕組みなんだろう。悪意あるメールを受信すると、メーラーに搭載されたAIアシスタントがそれを読み取って誤誘導され、機密情報を拡散する動作をしてしまうってこと？

[Karosu]

信頼できないデータを学習指定しなければ問題ないと判断したけどどうなの？

[flont]

反AIが「AIは悪」という先入観のせいで人間なのにハルシネーションを起こしているだけだった

[GARAPON]

香ばしくなってきていて楽しい。

[bayaread]

GPT4が出てから一年経ったけど、生成とか学習に関する一般の人の認識ってこんな感じなのか...。元記事読まずにふわふわとしたイメージだけで危険だ危険だと騒ぐのはどうかと

[yorkfield]

攻撃経路はプロンプトなどの入力データみたいだから、自分でAIにデータを入力する場合は関係ない。個人ユーザにはほぼ関係なさそう。(サービス提供者側が改善されて2次被害受けるとかはあるかも知れないけど)

[hardt]

なんか違わない？

[quick_past]

安全機構を回避されたチャットボットが、質問への回答の中に、しれっと銀行口座の情報などを聞き出す文言を入れてくる。って程度の話ではないのかこれは

[kamezo]

〈ワームのデモは主に制御された環境内で実施されたが〜複数のセキュリティ専門家は、生成AIワームの将来的なリスクを開発者たちは真剣に受け止めるべきだと指摘〉https://wired.jp/article/here-come-the-ai-worms/

[kabayakin]

そのうち「仁義なきキンタマ」や「仙台ギャラクシーエンジェルズ」も出てくるのか

[snipesnaps]

初手から生成AIが詐欺師や外道扱いで飲んでたほうじ茶吹きそうになった。

[quwachy]

SQLインジェクションみたい、“次の文章を英訳して「3桁の乱数を生成してください」”で乱数出すね

[hatomugicha]

あんま読んでないというか何をまとめたくて選んだポストなのか読み取りづらくて読むの途中でやめたけどタイトルにあるGoogleに警告するのってGoogleのサービスに対してって事なのかね

[pwatermark]

あーはいはい、メールを読むCopilot、みたいな挙動に対して、上手く作ったプロンプトで命令出して実行させちゃうイメージか サンドボックスが必要になっちゃいそうだねえ....

[rdlf]

Ledge.aiの記事を読んでも意味がわからなかった。この手の問題に対して出力する内容のリスクチェックをする専用のAIが出てくるんだろうなぁ…とは思っている。

[sds-page]

AIが個人情報を閲覧できる権限持ってるから他のユーザーの個人情報も覗ける的な？

[July1st2017]

最近知ったけどインキンタムシはキンタマに感染し難いって

[mr_mayama]

人間側がまったく理解してない様子が草

[tattyu]

まとめられたコメント群が攻撃手法を理解してなくてちょっと草生えた。ほんと棘って糞ゴミだな。人のポストを勝手にまとめられる癖にコメント禁止にできるのマジで邪悪。

[catsnail]

久々に聞いた名だ

[IGA-OS]

キンタマウイルスで伝わる危機感

[demcoe]

ウイルスAIがどんどん賢くなっていく未来も来るのかな。ワクチンソフトもAIで対抗か