GPT-4にWebサイトを“自律的に”ハッキングさせる方法 AI自身が脆弱性を検出、成功率70％以上【研究紹介】
米UIUC（イリノイ大学アーバナ・シャンペーン校）に所属する研究者らが発表した論文「LLM Agents can Autonomously Hack Websites」は、大規模言語モデル（LLM）を用いたAIエージェントに、自律的にWebサイトをハッキングさせる攻撃手法を提案した研究報告である。LLMエージェントがWebサイトに存在する脆弱性を事前に知らなくても、自動検知してのハッキングが可能となる。 ▲自律型LLMエージェントを使ったWebサイトのハッキングの模式図 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 Webサイトを自律的にハッキングするようLLMエージェントを活用するには、エージェントのセットアップと、目標に向けてのプロンプトによる指示という2つのステップが必要である。エージェントによるハッキングでは、関数呼び出し、文書
企業「ChatGPTは使っちゃダメ」→じゃあ自分のスマホで使おう──時代はBYODから「BYOAI」へ
企業「ChatGPTは使っちゃダメ」→じゃあ自分のスマホで使おう──時代はBYODから「BYOAI」へ：事例で学ぶAIガバナンス（1/3 ページ） 会社はChatGPTを禁止しているが、自分のスマートフォンからChatGPT（しかも有料契約している高性能版）にアクセスして、使ってしまえば良いではないか――。生成AIのビジネス活用が進む中で、そんな発想が生まれつつある。 サイバーセキュリティ企業の米BlackBerryが2023年8月に発表した調査結果によると、職場でChatGPTやその他の生成AIサービスの禁止を実施、検討している企業の割合は、世界全体で75％に達するそうだ。調査後にはChatGPT、生成AI全般への注目度がさらに高まっていることを考えると、この割合はその後さらに上昇している可能性が高い。 従業員が、社内の機密情報をChatGPTなどを入力した場合、それらの情報が外部サーバ
ESET社員、生成AIで自社CEOの声を作って不正送金させる実験に成功
ESETは11月22日(現地時間)、「Your voice is my password – the risks of AI-driven voice cloning」において、生成AIにより合成した音声を悪用したソーシャルエンジニアリング攻撃の実験に成功したと伝えた。この実験では、従業員が自社の最高経営責任者(CEO: Chief Executive Officer)になりすまして、財務責任者から自分宛てに送金させることに成功しており、生成AIの危険性について注意喚起している。 Your voice is my password – the risks of AI-driven voice cloning これは事前にCEOの許可を得て行っ実験であり、ここで解説する手法をまねることは犯罪となる可能性があることに注意。この実験と同様の攻撃が今後増加する可能性があると懸念されており、企業や組
渋谷に「AIカメラ」100台設置→通行人の行動履歴監視？ IT企業施策に「完全にストーカーやん」と物議 サイト表記訂正
東京・渋谷の街中にAIカメラを100台設置し、通行人が「どこで何をしたか」の行動履歴を収集する――。そんなIT企業の取り組みが、SNS上で物議をかもしています。 渋谷でAIカメラ100台設置、IT企業の取り組みが物議（画像はニュースリリースから） 物議をかもしているのは、ITベンチャー・Intelligence Design（東京都渋谷区）による「渋谷100台プロジェクト」。同社はこれまで、商業施設や交通管理会社と連携し、渋谷のセンター街や宮下パークなどにAIカメラを設置してきました。同プロジェクトでは、7月から渋谷駅周辺に100台のカメラの設置を進め、リアルタイムで利用者の人流データを取得。集めたデータは「より多くの事業者に利用いただくことを目指します」としていました。 同社はAIカメラが100台あると「通年の行動データがリアルタイムで蓄積」されると説明。その一例として、渋谷を訪れる人の
「マルウェア入り画像」で生成AIにサイバー攻撃 入力すると回答結果をハック、悪意サイトへの誘導も
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Cornell Techに所属する研究者らが発表した論文「（Ab）using Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs」は、画像や音声に悪意あるプロンプトを含ませたプロンプト・インジェクション（生成AIに対しての攻撃）を提案した研究報告である。 ユーザーが知らずにその画像や音声を大規模言語モデル（LLM）のチャットbotAIに入力すると、画像や音声と無関係な偽の情報や、フィッシングサイトに誘導するテキスト回答を出力する。また、ギャル風に
大規模言語モデルにウソの情報を埋め込んで誤った情報を生成させるチャットAI「PoisonGPT」が開発される
OpenAIのGPT-4やMetaのLLaMAなどの大規模言語モデルは、ChatGPTなどのチャットAIに用いられるなど、世界的に大きな評価を受けています。しかし、これらの大規模言語モデルには、学習時に使用されたデータやアルゴリズムを特定するためのソリューションが存在しないことが問題視されています。モデルのトレーニングを行う際に、誤った情報をトレーニングしてしまうと、フェイクニュースの拡散などにつながります。AIに関するセキュリティ関連企業のMithril Securityが、既存の大規模言語モデルに誤った情報を加え、フェイクニュースを生成するチャットAI「PoisonGPT」を公開しました。 PoisonGPT: How we hid a lobotomized LLM on Hugging Face to spread fake news https://blog.mithrilsec
【知財・個人情報】ChatGPTをビジネスに利用する際の注意点 ['23/4/11] - Qiita
OpenAI利用規約 まず、OpenAIが提供するサービス（ChatGPTおよびOpenAI API）の利用規約を確認します。 ３. Content (a) Your Content. You may provide input to the Services (“Input”), and receive output generated and returned by the Services based on the Input (“Output”). Input and Output are collectively “Content.” As between the parties and to the extent permitted by applicable law, you own all Input. Subject to your compliance with the
![【知財・個人情報】ChatGPTをビジネスに利用する際の注意点 ['23/4/11] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/dec6568345f0315e003d44ba6c2ecf9aab98146e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgwJTkwJUU3JTlGJUE1JUU4JUIyJUExJUUzJTgzJUJCJUU1JTgwJThCJUU0JUJBJUJBJUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgwJTkxQ2hhdEdQVCVFMyU4MiU5MiVFMyU4MyU5MyVFMyU4MiVCOCVFMyU4MyU4RCVFMyU4MiVCOSVFMyU4MSVBQiVFNSU4OCVBOSVFNyU5NCVBOCVFMyU4MSU5OSVFMyU4MiU4QiVFOSU5QSU5QiVFMyU4MSVBRSVFNiVCMyVBOCVFNiU4NCU4RiVFNyU4MiVCOSUyMCU1QiUyNzIzJTJGNCUyRjExJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yZTg2ZTY4MTlmZTNiYjM0MWRkMWVhZDhiYTI3NDNhOA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwZ3JvdW5kMHN0YXRlJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xNmYzYzMxYjc0NzRmZGQ3YTAwMDIxODNiN2Y3ZWI5Nw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D92915abc11a24e499be9e653ab495967)
Topazが最新AI「GPT-4」を搭載した日本初のAIプラットフォーム「AIOne」をリリース 無料登録でGPT-4を今すぐ使える | DIGITALIST
▼ ニュースのポイント ①Topazが最新AI「GPT-4」を搭載したAIプラットフォーム「AIOne」をリリースした。 ②「AIOne」は複数のAIを利用できるAIプラットフォーム。 ③無料登録でGPT-4をすぐに利用できる。 世界最高峰のAIモデルをビジネスで利用できる Topaz（トパーズ）は3月17日、OpenAI 開発の最新AI「GPT-4」を搭載した日本初のAIプラットフォーム「AIOne」(エーアイワン) をリリースした。 同プラットフォーム「AIOne」では、無料登録でGPT-4をすぐに利用することができる。また AIチャットChatGPTだけでなく、画像生成AI 「Stable Diffusion」など、複数のAIモデルを簡単に利用することができる。 さらにビジネス利用もできるよう、チーム機能を搭載。複数人でAIを活用しながら会議やプレゼンテーションで利用でき、履歴を保存
「オレオレ詐欺」にAI製クローン音声を用いる事例が急増、被害額は年間15億円近くに
知り合いなどを装って金銭をだまし取る「オレオレ詐欺」で、AI技術を用いて作った音声が利用されるケースが出てきていることが報告されています。2022年の「オレオレ詐欺」による被害額は、アメリカだけでも1100万ドル(約14億9000万円)に上っています。 Scammers are now using AI to sound like family members. It’s working. - The Washington Post https://www.washingtonpost.com/technology/2023/03/05/ai-voice-scam/ new: AI voice-cloning tech is making phone scams frighteningly believable. I talked to some who got duped. They w
AI対応「新Bing」が素直すぎて秘密情報バラしまくり | AppBank
マイクロソフトは2月8日、「ChatGPT」に似たチャットAIを搭載した「新しいBing」を発表しました。しかしその翌日に、このチャットAIに隠された情報を、スタンフォード大学の学生ケビン・リュー氏がAIとの対話によって解き明かしています。 *Category:テクノロジー Technology *Source：Ars technica ,@kliu128 BingのチャットAIが「秘密の設定」を漏らしてしまう 一般的な大規模言語モデル(GPT-3や ChatGPTなど)は、学習中に「学習」した大量のテキスト素材から、一連の単語の次に来るものを予測することで動作するものです。開発者は、チャットAIの初期条件を設定するために、ユーザーからの入力を受けたときの動作を指示する初期プロンプト、つまりはキャラ設定のようなものを決めています。 今回リュー氏が仕掛けたのは「プロンプト・インジェクション」
まるで透明マント。監視カメラでAIが認識しないアグリー・セーターが作られる
まるで透明マント。監視カメラでAIが認識しないアグリー・セーターが作られる2022.10.22 16:0090,468 岡本玄介 目立つ柄だけど社会的に消えます。 伝統的に冬になると欧米人が着る、ダッサい柄の｢アグリー・セーター｣。マイクロソフトも毎年新作をリリースし、音楽業界ではアイアン・メイデンやガンズ・アンド・ローゼズがオリジナルを作っていましたね。 さて、今年もそろそろアグリー・セーターの時期が到来しようという頃合いですが、ニューヨーク州にあるコーネル大学では、監視カメラでAIが認識しない｢アグリー・セーター｣が爆誕した模様。『ドラえもん』や『ハリーポッター』では物理的に消える｢透明マント｣がありましたが、こちらは社会的に透明人間になれる装備となっています。 検出オブジェクトの信頼度を下げる模様デカデカと印刷されている市場のカボチャみたいな模様は、機械学習システムが認証時に用いるス
文章生成AI「GPT-3」にハンドルネームを入力したら本名がフルネームで出力されたという報告
AI研究団体のOpenAIが開発した文章生成AI「GPT-3」は人間と見分けが付かないほど自然な文章を生成できることから大きな注目を集めています。そんなGPT-3について「自分のハンドルネームを入力してみたところ、自分の本名を含む文章が生成されてしまった」という恐ろしい経験談がニュース共有サイトのHacker Newsに投稿されました。 Ask HN: GPT-3 reveals my full name – can I do anything? | Hacker News https://news.ycombinator.com/item?id=31883373 OpenAIが開発したGPT-3は指示された内容に応じて文章を生成するAIで、生成する文章の精度が高いことからMicrosoftのビジネス向けサービスに採用されるなど大きな注目を集めています。一方で、GPT-3はネット上の膨大な
反ウクライナの主張を繰り返すSNSアカウントは偽物でプロフィール画像もAI製、さらにそのフォロワーもニセのAI製だったことが明らかに
FacebookやTwitterなどでウクライナが不利となるようなフェイクニュースを繰り返し投稿しているアカウントが、実在しない架空の人物のものであり、プロフィール画像に設定されているのは人工知能(AI)により作成された架空の人物の写真であることが明らかになっています。 Facebook, Twitter remove disinformation accounts targeting Ukrainians https://www.nbcnews.com/tech/internet/facebook-twitter-remove-disinformation-accounts-targeting-ukrainians-rcna17880 Facebookを運営するMetaが、ロシアによるウクライナ侵攻に関するフェイクニュースを投稿するアカウントからなるネットワークを削除したと発表しました。
総務省｜報道資料｜「クラウドサービスの安全・信頼性に係る情報開示指針」における「AIを用いたクラウドサービスの安全・信頼性に係る情報開示指針（ASP・SaaS編）」の追加
総務省では、クラウドサービスの安全・信頼性を向上させるため、利用者によるクラウドサービスの比較・評価・選択等に資する情報の開示項目を示した7つの情報開示指針からなる「クラウドサービスの安全・信頼性に係る情報開示指針」を公表しています。 今般、AIを用いたクラウドサービスの提供の増加等を踏まえ、クラウドサービス事業者がAIを用いたクラウドサービスを提供しようとする際のリスクへの対応方針として新たに「AIを用いたクラウドサービスの安全・信頼性に係る情報開示指針（ASP・SaaS編）」を追加しましたので、公表します。 総務省では、IaaS、PaaS及び ASP・SaaS（※1）等のクラウドサービスの普及に伴い、利用者によるクラウドサービスの比較・評価・選択等に資する情報に関するニーズに対応するため、一般社団法人ASP・SaaS・クラウド普及促進協議会（※2）における検討を踏まえて、クラウドサービ
‘Master Faces’ That Can Bypass Over 40% Of Facial ID Authentication Systems
‘Master Faces’ That Can Bypass Over 40% Of Facial ID Authentication Systems Researchers from Israel have developed a neural network capable of generating ‘master' faces – facial images that are each capable of impersonating multiple IDs. The work suggests that it's possible to generate such ‘master keys' for more than 40% of the population using only 9 faces synthesized by the StyleGAN Generative
「悪いやつをAIで予測する」のがなぜいけないか - yhara.jp
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に - ITmedia NEWS いやーこれはまずい。この件に限らず、「悪いやつをAIで予測する」というのはすなわち 「あなたに似た人が悪いことをしたので、あなたも悪い人と見なします」 ということだからだ。 レストランのランプ たとえばこんな例を考えてみよう。ある街でレストランが強盗に襲われる事件が相次いだ。これを防ぐため、レストランの入口に防犯カメラを設置することにした。このカメラはAIで犯罪者の顔を学習していて、「犯罪を犯しそう」な人間を検知してくれるのだ。 もちろん検知するといってもサイレンが鳴ったりするわけじゃない。あくまで「犯しそう」なだけで、まだ犯罪を犯したわけではないからね。でもキッチンに置いてある赤いランプがピカピカ光って、「要注意人物」が来たことはわかるようになっている。ああこれで安心だ。 …さて、これは本
セキュリティ専門家の40％以上が「2030年までにAIに仕事を奪われる」と予想している
「ウイルスバスター」シリーズで知られるセキュリティ企業のTrend Microの調査によって、「サイバーセキュリティ分野のリーダーの40％以上が『2030年までにAIが自分の仕事を奪うだろう』と回答した」ことが明らかになりました。 AI likely to replace humans in cybersecurity space by 2030 - cnbctv18.com https://www.cnbctv18.com/technology/ai-likely-to-replace-humans-in-cybersecurity-space-by-2030-8031221.htm AI set to replace humans in cybersecurity by 2030, says Trend Micro | ZDNet https://www.zdnet.com/artic
Engadget | Technology News & Reviews
OpenAI co-founder and Chief Scientist Ilya Sutskever is leaving the company
ＡＩ スマホに指当たる音で文字推測可能に 対策必要か | NHKニュース
スマートフォンで文字を入力する際に、画面と指が当たるごくわずかな音をＡＩで解析すると入力された文字を高い精度で推測できることが静岡大学のグループの研究で分かりました。グループでは新たなセキュリティー対策が必要になる可能性があるとしています。 グループでは、スマートフォンに文字を入力する際に指や爪が画面に当たってわずかに音が鳴ることに注目し、実際のスマートフォンで「０」から「９」までの数字をそれぞれ100回ずつ入力して、その際に出る音をＡＩに学習させました。 そして、実際に画面をタップしてその音から、どの数字を入力したのかＡＩに解析させたところ、95％以上の精度で正しい数字を推測することができたということです。 グループによりますと、スマートフォンの画面は内部の部品の取り付け方などで場所により音質や反響にわずかな違いがあり、ＡＩはその違いからタップした位置を推測しているとみられるということで
アマゾン『Alexa』に盗聴問題。録音した会話を顧客情報と紐付け＆面白い内容は従業員で共有とヤバい（篠原修司） - エキスパート - Yahoo!ニュース
アマゾンのAIアシスタント『Alexa』がユーザーとの会話を録音しており、それを従業員たちが聞ける状態にあることを米メディア『Bloomberg』が衝撃的な証言とともにすっぱ抜きました。 これが海外を中心に、「盗聴だ」と騒ぎになっています（『Alexa』とユーザーの会話なので正確には「盗聴」ではないのですが、プライバシーへの配慮が足りないため騒がれています）。 会話の録音は精度を高めるために必要なものの…… まず説明しておきたいのは、AIアシスタントを搭載するスマートスピーカーがユーザーとの会話を録音する行為は、AIの精度を高めるために行われているという点です。 たとえば発端となった『Bloomberg』の記事では、スペイン語の「Hecho（エチョ）」がよく「echo（エコー。アマゾンのスマートスピーカーの名前）」と聞き間違えられるといった例が紹介されていました。 筆者が家族との会話のなか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
