このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: @shiropen2 イスラエルのネゲヴ・ベン・グリオン大学に所属する研究者らが発表した論文「What Was Your Prompt? A Remote Keylogging Attack on AI Assistants」は、大規模言語モデル(LLM)を活用したAIチャットbotが生成するテキスト回答を復元するサイドチャネル攻撃を提案した研究報告である。攻撃者は、AIチャットbotが応答する際の通信データを傍受することで内容を復元して他人のやりとりを盗み出すことができる。 攻撃方法としては、まずユーザーとLLMの間の暗号化されたパケット通信を傍受するところか
マーケティングやコンサルティング業界が先行する生成AI活用だが、製造業でも大手企業による取り組みが本格化しつつある。42万人以上の従業員を持つドイツ・ボッシュは、生成AI活用で既存のAIプロジェクトの生産性を大幅に高める計画を明らかにし、いくつかの工場で実際にプロジェクトを始めている。生成AIを活用することで、通常半年から1年はかかるAI開発プロジェクトを数週間にまで短縮することを狙うという。具体的にどのように生成AIを活用しようとしているのか、ボッシュの取り組みを探ってみたい。 バークリー音大提携校で2年間ジャズ/音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立
大規模言語モデル(LLM)の弱点であるハルシネーション(幻覚)への対策として、最も期待されているのはRAG(Retrieval-Augmented Generation、検索拡張生成)だ。RAGに強みを持つカナダのスタートアップ、Cohere(コーヒア)のNick Frosst(ニック・フロスト)共同創業者は、RAGの高度化に「Rerank(再順位付け)」という技術が欠かせないと指摘する。 RAGはLLMに対して、事前学習した知識だけでなく外部の知識情報も参照させてテキストを生成させる手法だ。RAGを活用すれば、企業の内部情報に基づいた回答をLLMに生成させることも可能であるため、LLMがデタラメな回答を出力するハルシネーションへの対策として有望視されている。 LLMと検索を組み合わせるのが「RAG」 RAGは「検索拡張生成」というネーミングが示すとおり、LLMに参照させる知識情報の選択に
前書き本記事では、2/27に開催されたGPTsハッカソン @GMO Yours で優勝した社内ナレッジ共有GPT『Share Knowledge In Your Company』と『FAQ collector』の作り方をご紹介します。 ※本記事は、本GPT作成者のArai Motokiさんに寄稿していただきました 2024/02/27 に行われたGPTsハッカソン@GMO Yoursの最優秀賞作品です。 私(製作者自身)が動画で解説し、作り方も全文公開します。できる限りみなさまのお役に立てるように解説をいたします。 長文なので大変だと思いますが、解説動画までを見るだけでも学びはあると思います! 想定している読者申し訳ございませんが、すべてを説明するにはかなりの長文になってしまうため、想定している読者は何度かGPTsを作ったことがあり、より深くGPTsを理解したい人、GPTsの精度を上げてい
生成AIのトップ研究者らが東京で創業したAIベンチャー「Sakana AI」が、生成AI開発の新たな手法を開発したと3月21日に発表した。従来は人間が手動で設計し、多くの計算資源を使っていたが、同社の手法では設計を機械が自動で行い、“ほぼ無視できるレベル”の計算資源で開発が可能になるという。この手法で開発した日本語基盤モデルをGitHubで公開した。 同社が提案したのは「進化的モデルマージ」という手法。公開されているさまざまな基盤モデル(生成AIを含む、大規模なデータセットによる事前学習で各種タスクに対応できるモデルのこと)を組み合わせて新たなモデルを作る「マージ」に、進化的アルゴリズムを適用したものだ。 マージ自体は現在の基盤モデル開発で使われている手法で、モデルの“神経回路”(アーキテクチャ)の中に別のモデルの神経回路の一部を組み入れたり、入れ替えたり、神経同士のつながりやすさ(重み)
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ(メトリクス、ログ、トレースなど)が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル(Large Language Model: LLM)を日常的に使用したり、表題にあるようにSREのためのLLM(LLM for SRE, LLM4SRE)に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes (モデルマージの進化的最適化)」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合(マージ)して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
アクセンチュア最新調査――経営幹部と従業員の間で、生成AIに対する認識の違いが明らかにAIの可能性を最大限に引き出すために、業務の再構築、従業員の育成、人員配置の最適化が必要 【ニューヨーク発:2024年1月16日】 アクセンチュア(NYSE:ACN)の最新調査によると、企業の経営幹部は、生成AIは企業の業務や役割に大きな影響を与える可能性があると考えており、企業全体で業務プロセスの再設計や従業員体験の向上に向けた生成AIの活用拡大が急務と捉えていることが明らかになりました。 今日、企業の経営幹部には、経済的価値の創出、ビジネス成長の加速、従業員体験の向上に向けた、新たな手法による企業変革が求められています。しかし、経営幹部の3分の2は、生成AIを活用した全社改革を主導するために必要な、テクノロジーに関する知識や変革リーダーシップを有していないと回答しています。 アクセンチュアの最新調査レ
活用事例①: カスタマーサポートの自動応答 zapierとChatGPTを組み合わせることで、顧客からの問い合わせなど「カスタマーサポート」を自動化することができます。 ここでは、サポートチケットを例に具体的な手順を解説していきます。 1.トリガーを設定する(自動応答を生成する) 顧客サポートシステム(ZendeskやFreshdeskなど)で新しいサポートチケットが作成されたときに、zapierがトリガーを起動します。 ChatGPTを使用して、サポートチケットの情報をもとに自動的な応答を生成します。 この応答は、顧客の問い合わせに対する初期の回答や、問題解決のための基本的なトラブルシューティング手順などを含むことができます。 2.応答を顧客に送信する 顧客サポートシステムを通じて、生成された応答を顧客に送信します。 このプロセスを自動化することで、24時間対応の実現など顧客サポートの効
2023/06/13 OpenAIの大きなアップデートが発表されました。 その中でも新たに加わった目玉機能がFunction callingです。 このFunction calling、一見すると「APIのレスポンスをいい感じのJSONにしてくれるのかな?」と思ってしまうのですが、それは使い方の一部で本質ではありません*。本記事では、この少し概念がややこしいFunction callingを早く、正確に理解できるように具体的な実装を交えてご紹介します。 *記事の最後にレスポンスをJSONにする方法もご紹介はします。 Function callingとは Function callingとは、OpenAI API(以降OpenAI)のレスポンスが外部関数の呼び出しを検知し、教えてくれる仕組みです。これにより、OpenAIと外部のシステム連携をミスなく正確に行うことができるようになります。 具
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ こんにちは、サイオステクノロジー武井です。今回は、「RAG構築のためのAzure OpenAI Serviceリファレンスア
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式(例えばベクトル検索とキーワード検索)を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
アップルの研究チームは3月14日、画像とテキストを理解し処理する能力を持つマルチモーダル大規模言語モデル「MM1」を発表した。今のところ論文のみの公開で、一般公開の時期は明かされていない。 一部ベンチマークではGPT-4Vをも凌ぐ性能を発揮 複数(30億、70億、300億)のパラメータサイズを備えるMM1は、10億以上の画像および30兆語以上のテキスト、GitHubのコード例などの多様なデータセットを用い、教師なし学習と教師あり学習を組み合わせる独自の方法で学習され、多様なタスクに対して高い精度を示すという。 各種ベンチマークの結果によると、30億および70億パラメーターのモデルはそれぞれのモデルサイズにおいて過去最高を記録。特にVQAv2(画像理解)、TextVQA(画像内のテキスト情報)、ScienceQA(科学知識)、MMBench(マルチモーダル)、MathVista(数学)などの
★フルバージョンは「テレ東BIZ」で配信中(無料でお試し)⇒https://txbiz.tv-tokyo.co.jp/original2/vod/post_292757?utm_source=youtube&utm_medium=video&utm_campaign=wbs_yt_OURZ9lxTrw0 アメリカ・アトランタで2年に1度開催される、世界最大級の物流関連技術の見本市「MODEX」を初取材!法改正に伴い、ドライバーの労働時間に上限が課され、輸送能力の低下が懸念される「物流2024年問題」を抱える日本。人手不足は世界でも同様の課題で、この課題を解決しようと、独自の技術を持つスタートアップ企業も多数出展していました。今回のイベントで世界初公開された「人型ロボット」や2足歩行ロボットなど、CEOへのインタビューを交えながら、会場でみつけたユニークなスタートアップ企業を紹介します。
Googleが2024年2月に発表した大規模言語モデル(LLM)「Gemini 1.5」の強みの一つに、12万8000トークンのロングコンテキストウィンドウがある。コンテキストウインドウは、モデルが一度に処理できるトークン(単語、画像、動画の一部など、最小の構成要素)の数を示す。 Googleは2024年2月16日(米国時間)、Gemini 1.5で実装したロングコンテキストウィンドウと、それが開発者にどう役立つのかを公式ブログで紹介した。 コンテキストウィンドウの重要性 コンテキストウィンドウが重要なのは、AIモデルがセッション中に情報を思い出すのに役立つからだ。チャットbotが数ターン後に情報を「忘れる」ケースは多い。そのようなときにロングコンテキストウィンドウが役立つ。 Geminiは以前のバージョンで一度に最大3万2000トークンを処理することができたが、「Gemini 1.5 P
テクノロジーライター、Gマーク・パートナーショップ「AssistOn」取締役。 スティーブ・ジョブズ、ビル・ ゲイツ、スティーブ・ウォズニアックのインタビュー記事をはじめ、IT、カメラ、写真、デザイン、自転車など様々な分野の文筆活動や、製品開発のアドバイスを行う。 主な著書・共著書に『成功する会社はなぜ「写真」を大事にするのか』(講談社現代ビジネスブック)、『インテル中興の祖 アンディ・グローブの世界』(同文舘出版)、『ICTことば辞典』(三省堂)など。主な訳書に『Apple Design 日本語版』(アクシスパブリッシング)、『スティーブ・ジョブズの再臨』(毎日コミュニケーションズ)など。 最新刊として、『ルンバをつくった男 コリン・アングル「共創力」』(小学館)。 AssistOnホームページ:https://www.assiston.co.jp ビジネスを変革するテクノロジー 今やテ
心理マーケティングで私がとくに感心したのは、ハワイの外資系ホテルで体験したタイムシェア方式のリゾート・コンドミニアムの営業だ(タイムシェアというのは、別荘を買うほどの余裕がないひとのために、1週間の利用権をバラ売りするものだ)。 知は力なり 説明係は、ハワイに魅了され3年ほど前に脱サラして家族で移住したという、とても感じのいい日本人男性だった。彼はいろんな苦労話も交えて、ハワイでの生活をざっくばらんに話してくれた。 最初はゆったりとしたロビーでコーヒーを飲みながら、余暇の過ごし方についての簡単なアンケートに答える。リゾートに来たのだから、ほとんどのひとは「いつかはハワイに住んでみたい」とか、「世界中を旅行したい」とか、そんな夢を語るだろう。 次いで豪華なホテル専用車で、超高級コンドミニアムに案内される。ベッドルームが3つもあり、ラナイ(テラス)からは海が見渡せ、ゴルフコースまで併設されてい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く