ChatGPTなど生成AIによる個人情報の開示 | 技術者ブログ | 三井物産セキュアディレクション株式会社
本ブログは「生成AI x セキュリティ」シリーズの第二弾です。 前回は「DALL-E 2などの画像生成AIに対する敵対的攻撃」と題し、OpenAIのDALL-E 2やStability AIのStable Diffusionに実装されているSafety Filterをbypassして、悪意のある画像を生成する手法と対策を解説しました。 今回は「ChatGPTなど生成AIによる個人情報の開示」と題し、ChatGPTなどの生成AIを介して個人情報が開示されるリスクについて解説します。 昨今大きな話題となっているChatGPTは、12年間にわたる大量のWebクロールデータや英語版Wikipediaなどペタバイト級の情報に加え、ChatGPTユーザーが入力した文章（プロンプト）も学習していると言われています。このため、過去に誤って公開された機微情報を含むWebページや、ユーザーが誤入力した社外秘や
DALL-E 2などの画像生成AIに対する敵対的攻撃 | 技術者ブログ | 三井物産セキュアディレクション株式会社
最近、Stable DiffusionやDALL-E 2といった画像生成AIが好評を博しています。 これらのAIは、ユーザーが文章や単語でキーワードを指定することで、それに応じた画像を高精度で自動生成することができます。 以下の画像は、DALL-E 2に「A samurai riding a horse in a photorealistic style.」という文章を与えて生成した画像です。 入力した文章のとおり、「馬に乗った侍がリアルな描写」で描かれています（この画像は、文章の入力から数秒足らずで生成されました）。 このような画像生成AIは、絵画や写真、アニメの生成などの芸術・娯楽用途での利用が見込まれる一方で、人々を不快にする画像（暴力、ハラスメントなど）や欺瞞、プロパガンダ、公人の評判を貶めるなどの有害画像を悪意を持って生成されるリスクをはらんでいます。 そこでStable Dif
Webアプリケーションスキャナで機械学習 - DBバージョンの次の文字を予測 | 技術者ブログ | 三井物産セキュアディレクション株式会社
見てのとおり、一部のDBのバージョン文字列はかなり長いです。 一度に文字列全体が取得できる状況では長い文字列でも問題はありませんが、応答の内容/時間をもとにバイナリサーチにより1bitずつ特定していく場合、長い文字列の取得にはそれなりの時間がかかります。 さらに、バイナリサーチではなく、LIKE演算子で1文字（または1単語）ずつ特定していく場合には、もっと長い時間がかかります。次の例ではPostgreSの後の1文字を特定しようとしていますが、正解を探すには考えられるすべての文字を試すことになります。 ... CASE WHEN version() LIKE 'PostgreSa%' THEN ... ELSE ... END ... ... CASE WHEN version() LIKE 'PostgreSb%' THEN ... ELSE ... END ... ... CASE WH
自動運転車セキュリティ入門 第５回：意思決定モデルに対する敵対的攻撃 - 汚染攻撃 - | 技術者ブログ | 三井物産セキュアディレクション株式会社
現在、世界各国で自動運転車の開発が盛んに行われています。 自動運転車は、人間が運転操作を行わなくとも自動で走行できる自動車と定義されており、カメラやレーダー、GPSなどのセンサー類や、高精細の地図情報を配信するクラウドサービス、また、他車両と通信を行うネットワークサービスなどを組み合わせることで、自律的な走行を実現しています。また、より完全な自律走行を実現するために、道路標識や歩行者などの認識や、運転操作の意思決定をディープラーニング・モデルで行う自動運転車も開発が進んでいます。 このように、自動運転車には「繋がる」「自律走行」という、従来の自動車にはなかった新たな性質が加わっています。しかし、これと同時に、センサー類やクラウドサービス連携に対する攻撃や、ディープラーニング・モデルに対する攻撃といった、従来の自動車にはなかった新たな攻撃経路も生まれています。 そこで、本連載は「自動運転車・
機械学習モデルの学習データを推論する方法 | 技術者ブログ | 三井物産セキュアディレクション株式会社
近年、機械学習を使用した医療診断技術や顔認識・音声認識技術などが登場しており、患者のレントゲン写真から病気の種類を予想するシステムや、顔認証を行うシステムなどに利用されています。その一方で、システムが学習したデータを特定する攻撃手法も盛んに研究されており、データ・プライバシー侵害の懸念も広がっています。特に、システムの挙動から学習データを推論する「メンバーシップ推論攻撃（Membership Inference Attacks）」は数年前から多くの検証が行われており、現実的な脅威になる可能性が高まっています。 メンバーシップ推論攻撃は、攻撃対象の分類器（以下、標的分類器）に正常な入力データを与え、標的分類器から応答された分類結果を観察することで、入力したデータが分類器の学習データに含まれているか否か（=メンバーシップか否か）を推論します。仮に、近年プライバシーや自由の侵害などを理由に反対意
細工した分類器を利用した任意のコード実行 | 技術者ブログ | 三井物産セキュアディレクション株式会社
TensorFlow models are programs. これは、著名な機械学習プラットフォームであるGoogle TensorFlowの「Using TensorFlow Securely」の冒頭に記載されている文言です。 TensorFlowには、学習済みの機械学習モデル（以下、分類器）をファイルに書き出す、または、学習済み分類器をファイルから読み込む機能が備わっています。これにより、一度学習して作成した分類器の再利用や、分類器の第三者への配布を可能にしています。しかし、もし第三者から提供された学習済み分類器が悪意を持って作られていたらどうでしょうか？ TensorFlowの学習済み分類器には、学習済みの重みやバイアス、Optimizerなどを含めることができるほか、Lambdaレイヤを使用することで任意の関数をも含めることができます。当然ながら、任意の関数には任意のコードを記述
DeepFake（ディープフェイク） -動画編- | 技術者ブログ | 三井物産セキュアディレクション株式会社
最近、DeepFake（ディープフェイク）という言葉がしばしばメディアでも取り上げられていますが、その仕組みや対策をご存じでない方も多いのではないでしょうか。そこで本ブログでは、DeepFakeの仕組みと対策を「動画編」と「音声編」の2回に分けて解説することにします。 今回は「動画編」と題し、DeepFakeを使用したフェイク動画の仕組みと、これを見破る方法について解説いたします。 1. DeepFake? DeepFakeとは、動画に写っている人物（オリジナル）の顔に他人の顔（ターゲット）をマッピングする技術の総称であり、オリジナルとターゲットの顔の特徴をDeep Learningで学習することで実現します。この技術を使用することで、ターゲットが一切写っていない動画の中に、あたかもターゲットが存在するかのようなフェイク動画を作成することが可能となります。 以下は、今回の検証で作成したフェ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
