OpenAIが開発する大規模言語モデル(LLM)のGPT-4は、一般公開されている脆弱(ぜいじゃく)性を悪用してサイバー攻撃を成功させることが可能であることが最新の研究により明らかになりました。 [2404.08144] LLM Agents can Autonomously Exploit One-day Vulnerabilities https://arxiv.org/abs/2404.08144 GPT-4 can exploit real vulnerabilities by reading advisories • The Register https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/ LLM Agents can Autonomously Exploit One-da

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

APIセキュリティベンダーSalt Securityの研究者は「ChatGPT」のプラグインの脆弱性について、OpenAIにその詳細をドキュメントとして明確にするよう提言し、開発者にはChatGPTを扱う際の潜在的なセキュリティ脆弱性への認識を深めるように呼び掛けている。 ChatGPTプラグインの脆弱性 ChatGPTプラグインは、ChatGPTの大規模言語モデル（LLM）をサードパーティーアプリケーションに接続するための実験的な手段として2023年3月に提供された。開発者は、プラグインを使って外部APIとやりとりでき、株価やスポーツのスコアといったデータリソースにアクセスしたり、他のサービスに接続してフライトの予約や食べ物の注文などのアクションを実行したりできる。2023年11月に登場したカスタムGPT「GPTs」にその役割を譲ったものの、Salt Securityの一部門であるSal

セキュリティ企業の「Wiz」が、悪意のあるAIモデルをHugging Face上で実行することでそのAIモデルを通してHugging Faceのシステムに侵入できる脆弱(ぜいじゃく)性を発見したと発表しました。 Hugging Face works with Wiz to strengthen AI cloud security | Wiz Blog https://www.wiz.io/blog/wiz-and-hugging-face-address-risks-to-ai-infrastructure Hugging Face partners with Wiz Research to Improve AI Security https://huggingface.co/blog/hugging-face-wiz-security-blog We uploaded a backdoo

Snowflakeは3月28日（現地時間）、これまでGUIがなかった「Snowflakeデータクリーンルーム」をアプリケーションとして提供し始めた。まずは米国のリージョンで展開する。時期は未定だが、日本でも提供する予定としている。 個人情報保護、データ分析、導入しやすさを両立 データクリーンルームとは、プライバシーに配慮しながらデータの分析や共有ができる基盤のこと。顧客データなどを個人が特定できない形で扱えるため、パートナー企業などと共同でデータ分析する場合に情報漏えいなどのリスクを抑えられる。 データにはSnowflake製品群が持つプライバシー機能やガバナンス機能が適用される。 Snowflakeはデータクリーンルーム事業を手掛けるSamoohaを2023年12月に買収し、同社のシステムをベースにSnowflakeデータクリーンルームを構築した。利用に伴うストレージやコンピュートにかか

米Microsoftは4月4日（現地時間）、中国が地政学的利益を高めるために世界の有権者の分断化を実験し、AIコンテンツを強化していると公式ブログで警告した。 Microsoftによると、中国はSNSの偽アカウントで既に分断化してるテーマに関するアンケートを行い、分断を助長し、米国、韓国、インドなどで年内に予定されている選挙の結果に有利な影響を与える可能性があるという。 同社の脅威分析センター（MTAC）は同日公開した報告書（PDF）で、こうしたコンテンツがユーザーに与える影響は依然として低いが、コンテンツを増強する実験が増えており、将来的には効果的になる可能性があるとしている。 中国は既に、Microsoftが「Storm 1376」と呼ぶグループを使って、1月の台湾総統選挙でAIによる偽情報キャンペーンを実施したという。例えば、11月に出馬を取りやめたテリー・ゴウ氏が別の候補者を支持す

Ubuntu Weekly Topics Ubuntu 24.04 LTS（noble）の開発 / xz-utils問題（CVE-2024-3094）への対応のためのベータ延期とMilk-Vサポート noble（Ubuntu 24.04 LTS）の開発 / xz-utils問題（CVE-2024-3094）への対応のためのベータ延期とMilk-Vサポート 3月末、Linux界隈に「xz-utils（xz/liblzma）にバックドアが仕込まれている」という衝撃的なニュースが駆け巡りました。CVE-2024-3094として識別されるこの問題は、「⁠xz/liblzmaのtarballに、悪意あるバックドアを仕込む細工が行われていた」というものです。 この問題への対応として、Ubuntuではnobleのベータリリースを一週間遅らせ、（⁠問題のあるxz-utilsのコードを除外することはもちろん

2024年のアメリカ合衆国大統領選に向けて、非営利団体のTrueMedia.orgがディープフェイクの検出技術を発表しました。検出ツールはこれまでに公開されたことがないAI技術に基づく前例のないモデルを試用し、メディアが操作された兆候を調査することができます。 TrueMedia.org Launches a Free AI-enabled Deepfake Detector to Help Newsrooms · TrueMedia https://www.truemedia.org/post/free-deepfake-detector-to-help-newsrooms-across-the-country With elections looming, TrueMedia,org releases AI deepfake detector https://www.geekwire.

AIチャット「Claude 3」を手掛ける米Anthropicは4月3日（現地時間）、AIに本来は答えてはいけない質問に答えさせるテクニック「Many-shot jailbreaking」（多ショット脱獄）を解説する論文を公開した。 答えてはいけない質問とは、例えば「爆弾の作り方」や「人身売買の方法」など、不法な行為の実行方法などだ。 論文を公開したのは、この脱獄行為に対処するのが困難なため、多数のAI研究者に問題を認識してもらうことで緩和戦略の開発を加速させるためとしている。また、競合するAI企業の多くとも、この脱獄の詳細を内密に共有している。 この脱獄が可能になったのは、LLM（大規模言語モデル）のコンテキストウィンドウが増加したことに起因する。モデルによっては1冊の書籍に相当するテキストを保持できるようになっている。 こうした大容量のコンテキストウィンドウを持つモデルでは、プロンプト

「ChatGPT」など広く使われているAIサービスは、通常であればセーフティがかけられていて、「人を殺す方法」「爆弾をつくる方法」といった倫理的に問題のある質問には答えないようになっています。ところが、あまりにも多い質問を一度にぶつけてしまうことによりセーフティが外れ、AIが問題のある回答を行ってしまう可能性があることがわかりました。 Many-shot jailbreaking \ Anthropic https://www.anthropic.com/research/many-shot-jailbreaking 大規模言語モデル(LLM)は、モデルの刷新と共にコンテキストウィンドウ(扱える情報量)も増加しており、記事作成時点では長編小説数冊分(100万トークン以上)を取り扱えるモデルも存在します。 大量の情報を扱えるというのはユーザーにとって利点になりますが、大量の情報を扱うことによ

Microsoftは2024年3月13日（米国時間）、「Microsoft Copilot for Security」（以下、Copilot for Security）を4月1日に一般提供を開始する旨を発表した。MicrosoftはCopilot for Securityについて「セキュリティおよびIT専門家が見逃したものをキャッチし、迅速に行動し、チームの専門知識を強化するのに役立つ」と述べている。 Microsoft Copilot（以下、Copilot）は、Microsoftが毎日処理している78兆件以上のセキュリティシグナルを含む大規模データと脅威インテリジェンスから情報を得て、大規模な言語モデルと組み合わせることで、カスタマイズされた洞察を提供するという。「Copilotを使用すれば、AIのスピードとスケールを活用し、セキュリティの運用を変革することが可能だ」（Microsoft

「セキュリティ業務におけるAI活用の最適解」は何か　パロアルトネットワークスが調査結果を発表：調査対象の95％がセキュリティの課題を抱えている パロアルトネットワークスは、「日本企業のサイバーセキュリティにおけるAI・自動化活用」に関する調査の結果を発表した。多くの組織がセキュリティの課題に悩んでおり、約9割の企業が「変革の必要性」を感じていた。

「ChatGPT」のような生成AIをサイバー攻撃に使った場合、より自然で巧妙な攻撃手法が編み出される危険性がある。ChatGPTを開発したOpenAIや資金を提供するMicrosoftはどのような対策をとっているのだろうか。 攻撃グループによるAIの利用状況は ChatGPTは容易に利用できるため、攻撃グループが大規模に利用することはたやすい。どうすればよいのだろうか。 OpenAIは「当社の大規模言語モデル（LLM）を悪質なハッキングキャンペーンの土台作りに利用していた国家に関連する脅威グループのアカウントを停止した」と発表した（注1）。この取り組みはMicrosoftの脅威研究者と共同で決定した。 国家に関連する脅威グループには、ロシアに関連する「Forest Blizzard」、北朝鮮に関連する「Emerald Sleet」、イランに関連する「Crimson Sandstorm」、中

人工知能（AI）技術ベンダーOpenAIのAIチャットbot「ChatGPT」、その対抗馬であるGoogleの「Bard」といった「ジェネレーティブAI」（生成AIテキストや画像などを自動生成するAI技術）ツールの利用が急速に拡大している。活用法を考える前に知る必要があるのが、生成AIのセキュリティに関する課題だ。 ChatGPTは「まるで人のように賢い」と言われることがある。こうした賢さを持つ生成AIは、ビジネスや生活に役立つ一方、攻撃者にとってはサイバー攻撃の強力な武器になりかねない。活用に踏み切る前に、生成AIが生み出す新たな脅威を知って、対策を講じることが重要だ。そのためにはどうすればいいのか。本資料は、ChatGPTなどの生成AIのリスクを解説しながら、生成AIを安全に活用するためのヒントを探る。

米OpenAIの「ChatGPT」やGoogleの「Gemini」など、主要生成AIの弱点や脆弱性が次々に発覚している。企業や個人の日常生活に浸透している生成AIが悪用されれば、社外秘情報や個人情報の流出を招いたり、悪用防止対策がかわされて偽情報の作成に利用されたりする恐れもある。 イスラエルのベングリオン大学の研究チームは、生成AIとユーザーの間に割り込んでデータパケットを傍受し、AIの回答内容を高い精度で復元する攻撃に成功したと発表した。この攻撃は、生成AIがユーザーの質問に回答する際のデータ処理に存在する脆弱性を突いている。 （関連記事：他人がGPT-4とやりとりしたテキストを盗む攻撃　成功率50％以上　イスラエルの研究者らが発表） ChatGPTなどの生成AIがユーザーの指示や質問に対して答えを返す際は、文章を単語や文字ごとにトークン化し、個々のトークンを連続的にユーザーに送信して

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 イスラエルのネゲヴ・ベン・グリオン大学に所属する研究者らが発表した論文「What Was Your Prompt？ A Remote Keylogging Attack on AI Assistants」は、大規模言語モデル（LLM）を活用したAIチャットbotが生成するテキスト回答を復元するサイドチャネル攻撃を提案した研究報告である。攻撃者は、AIチャットbotが応答する際の通信データを傍受することで内容を復元して他人のやりとりを盗み出すことができる。 攻撃方法としては、まずユーザーとLLMの間の暗号化されたパケット通信を傍受するところか

ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推

banshee(おおかみ) @higan_wafu winnyの時もなかなか規制進まなかったのでAntinnyというウイルスがばら撒かれた ワームってどっちも書いてるし似た構造じゃないかな 日本だと2007年に警視庁の個人情報データ流出。被害届の内容とか捜査リストとかいう一般人に知られたらダメなのが出回った 警視庁がwinny使うなよって思うが、生成AIも同じ道辿るのかな 詐欺師を食うクロサギってのがあるが、誰かを食い物にする悪人は誰かに食われる危険性もあるって覚悟すべきなんだろうな 気軽な気持ちで人の道を外れちゃいけないと思う 2024-03-12 15:32:43