ESET社員、生成AIで自社CEOの声を作って不正送金させる実験に成功

ESETは11月22日(現地時間)、「Your voice is my password – the risks of AI-driven voice cloning」において、生成AIにより合成した音声を悪用したソーシャルエンジニアリング攻撃の実験に成功したと伝えた。この実験では、従業員が自社の最高経営責任者(CEO: Chief Executive Officer)になりすまして、財務責任者から自分宛てに送金させることに成功しており、生成AIの危険性について注意喚起している。 Your voice is my password – the risks of AI-driven voice cloning これは事前にCEOの許可を得て行っ実験であり、ここで解説する手法をまねることは犯罪となる可能性があることに注意。この実験と同様の攻撃が今後増加する可能性があると懸念されており、企業や組

[theatrical]

こういう実験をちゃんとやってしかも公表しているのが、セキュリティ企業としてちゃんと研究活動しているなと感じられて信頼できる

[murlock]

生成AIよりSIMスワップの方が鍵だと思う

[mur2]

ワンマン経営の会社で適切な社員宛の攻撃なら大抵成功しそう… 通話内容は通常録音されておらず残らないわけで騙された担当者が賠償を迫られたり大きな不利益を被りそうで恐ろしい。

[rgfx]

ESETの社員でもあかんか、と思ったらだいぶ本格的だった「音声をYouTubeから収集し、生成AIにより数分程度で音声を生成。次にハリー氏の携帯電話に対しSIMスワップ攻撃」

[sasasin_net]

007とかミッションインポッシブルにありそう。ただし、あちらは空想上の技術だけど、こちらは今ある技術で達成できてる標的型攻撃なので、おお、そこまできたかと感想

[tettekete37564]

SIMスワップからのアカウント乗っ取りの攻撃の方が興味深いんだが

[qouroquis]

組織にとって、経理の森若さんみたいな人がいかに大切かわかるだろう。「社長がなんと言おうと、契約書と請求書がないものは払えません！」

[obatakanae]

“なんで「犯罪」じゃなくて「可能性」なんだ？😨 “ ↓司法ではないから法的なことに断言できないだけでしょう。

[dsl]

SIMスワップが当たり前のように成功しててやばそう

[misshiki]

“生成AIにより合成した音声を悪用したソーシャルエンジニアリング攻撃の実験に成功”

[sho]

けっきょく「電話一本で送金できちゃう」プロセスの問題なので、そこを厳格化するしかない。小規模なスタートアップは生きづらい世の中になってくるね

[yamadadadada2]

財務担当の人、このあとの人生は電話を信じられなくなりそう

[dollarss]

すごいなこりゃ…

[boxshiitake]

どうやって対策すればいいんだろうなこれ

[call_me_nots]

“ジェイク氏は、ハリーCEOに許可を求め同意を得ている。ハリー氏の音声をYouTubeから収集し、生成AIにより音声を生成。次にハリー氏の携帯電話に対しSIMスワップ攻撃を行い、電話番号をジェイク氏所有デバイスに変更”

[buhoho]

"CEOの電話番号を乗っ取り使用" そんな簡単にsimスワップできるの？ちょっと懐疑的。

[stealthinu]

うーむ、そりゃこういう攻撃できるよねって懸念はあったけどやっぱ実験されると強いな…　ここ1,2年で必要な音声サンプルがすごく少なくても出来るようになったのも大きい。

[avictors]

他人の声に酷似した生成音声は意図的でなくても公開を禁止するルールが必要かも。偶然でも似た声の人がいればその人への権利侵害。どんな合成音声に対してもそれと似た声の人はいるから商業利用は事実上不可能へ。

[timetrain]

ESETいつもお世話になっております。信頼してるぞ。

[ichan128]

オレだよ、CEOだよ。

[takamocchi]

岸田とかヒカキンとか生成Voice巷に溢れてるやん。

[kenjou]

経営者の声は決算時に公開する動画から収集できるから、この方法で悪事を働こうと思えばかなり広範囲でできるね。

[HiddenList]

Google Chromeでの　キーボード入力バグ　はよ直せ

[peketamin]

十分に発達した科学技術は魔法と見分けがつかず、不正行為に悪用もされる

[kawabata100]

YouTubeで顔･声出ししてる人やばくね？リアル知り合いから悪用されそうやん。

[T-miura]

よき

[ya--mada]

Voice BECと呼ぶようなものか？

[renu]

オレオレ詐欺グループが導入したがりそうだ

[raebchen]

"これは事前にCEOの許可を得て行った実験であり、ここで解説する手法をまねることは犯罪となる可能性があることに注意" → なんで「犯罪」じゃなくて「可能性」なんだ？😨 日本の中堅企業なんかイチコロな気がする😨

[natu3kan]

いろんな音声サンプル集めてAIに学習させると、かなり精度高い音声が作れるもんなあ。

[yuno001]

自分が不正送金しちゃったCFOなら辞任すると思う。

[fhvbwx]

ESET財務責任者が脆弱性抱えてない？