RAGの性能を高める「Self-RAG」を3分で理解する
本記事では、よく聞く「Self-RAG」についてざっくり理解します。軽めの記事です。 はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、RAGの新手法として昨年発表された「Self-RAG」の論文[1]について、日本語で簡単にまとめたものです。 この論文は「CRAG」[2]など、最近出ている別のRAGアーキテクチャにも影響を与えているので、理解する価値がありそうです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの性能を高めるための新しい手法です。ワシントン大学などの研究者によって2023年10月に提案されました。Self-RAGという手法を使うメリットは、回答品質を上げられること、ハルシネーション（幻覚）を減らせるこ
半構造化データのためのRAGの概要
前提 多くの文書には、テキスト、表、画像など、様々な種類のコンテンツが混在 このような半構造化データの解析は従来のRAGにとって困難な場合が多い テキストを分割すると表が分断され、検索時にデータが破損する可能性がある。 表を埋め込むと、意味的類似性検索が困難になる可能性がある。 画像に含まれる情報は通常失われる。 手法 Unstructuredというlangchain,llamaindex外部のAPIを使い、ドキュメント（PDF等）から画像、テキスト、表を解析する。 multi-vector retrieverを使って、生の表、テキスト、（オプションで）画像を、検索用の要約とともに保存する。 選択肢（各選択肢が下画像のoptionに対応） 選択肢1： CLIPなどのマルチモーダルモデルを使い画像とテキストを埋め込み、類似性検索を使って両方を取得。生の画像とテキストチャンクをマルチモーダルL
Kaggleコンペ（LLM Science Exam）の振り返りと上位解法まとめ
コンペURL どんなコンペ？ LLM（ChatGPT）が作った科学・技術・工学・数学分野の問題をKaggle notebookという限られた環境下（主にメモリ13GBと9時間以内に完了）でどのくらいの精度で解けますか？という自然言語処理系のコンペ。 以下に入出力例を示しています。 ・入力 （質問）バタフライエフェクトとは何ですか？ （A）バタフライ効果とは、巨大な球体が不安定な平衡点から... （B）バタフライ効果は、古典物理学における必要条件... （C）バタフライ効果は、古典物理学における物理現象の... （D）バタフライ効果とは、巨大な球体が不安定な平衡点から.... （E）バタフライ効果は、物理学における因果関係の概念の適用と.... ・出力 E A B （解答を可能性の高い順番に出力） 評価指標はMAP@3（Mean Average Precision）でした。 ベースライン解法
グーグル検索はオワコンか、生成AIで対抗「Perplexity」を試してわかったその実力
絶対王者グーグルの支配が続く検索エンジン市場だが、生成AIの登場で大きな変化を伴うことになりそうだ。ガートナーが2月19日に発表した予測によれば、2026年までに検索エンジンのボリュームは25％も減少するという。こうした中でグーグルへの挑戦を明言しているスタートアップ企業が「Perplexity」だ。同社はNVIDIA、ジェフ・ベゾス氏、YouTubeの元CEOなど大物も出資ラウンドに参加しており、検索市場を攻めるマイクロソフトとも戦っていくことになる。果たしてその実力とポテンシャルとはいかなるものか。実際にグーグル、マイクロソフト、Perplexityの3つのサービスを試して結果を比較した。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日
我々の愛したGoogle検索はすでに死んでいる - novtanの日常
Google検索終わってしまったの？という話で界隈が少し盛り上がっていてうーんはてなってなっていてそこはかとなく嬉しい。 goldhead.hatenablog.com orangestar2.hatenadiary.com 本件については僕も定期的に何かを言っている話ではあるんだけど、特にここ最近でキャッシュの検索もしなくなったってところが非常に象徴的だなあと思っています。キャッシュすることが著作権上問題だ何だで揉めたのが懐かしいよね。令和に至ってはウェブコンテンツの揮発性のほうがもはや問題である、と。 （個人的には依然として「なくなる権利」の方が重要と思っているだけど） 黄金頭さんが書いている「個人の日記が引っかからない」というのはもうずっと前から同感で、何かを見たことを共有したくて感想を探したところで例えば映画なら映画のあらすじサイトばかり引っかかる。体裁としては個人だけど明らかに広
RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
ChatGPT Slackボットのベストユースケース - Qiita
はじめに 去年度までS高等学校の校長をやっていたsifueといいます。現在はZEN大学（仮称・設置認可申請中）の教員予定者として設立準備などを行なっており、特に自分は情報系カリキュラムやクリエイティブ系カリキュラムの設計などを担当をしています。N高/S高と同じようにテクノロジーを駆使した多様性のある就職につながる新たな学びを設計できればと思っています。 このN/S高のアドベントカレンダーも2016年から8年目に突入して、非常に感慨深いななどと思っているわけなんですが、本記事では、自分が開発した、N/S高Slackや学園の教職員Slack、ZEN大学準備室のSlackなどで運用してきたChatGPT Slackボットとそこで面白かったベストユースケースのトップ3を紹介していきたいと思います。 開発したSlackボットの技術スタック ソースコードはsifue/chatgpt-slackbotで
LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB
LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ
LangChainを使ってHyDEによるクエリ変換の効果を検証する - Ahogrammer
ChatGPTやGPT-4をはじめとする大規模言語モデルの能力が向上し、多くの注目を集めています。とくにRAG（Retrieval Augmented Generation）と呼ばれる手法を使って、手元のデータを生成時に活用する手法がよく使われていますが、その性能を改善する方法は様々あります。その中でも、この記事ではRAG内部の検索性能を改善するためのクエリ変換に着目し、HyDEと呼ばれる手法の効果を日本語の検索用データセットを使って検証した結果を示します。 記事の構成は以下のとおりです。 HyDEとは 実験設定 実験結果 実装の詳細 参考資料 HyDEとは HyDE（Hypothetical Document Embeddings：仮の文書の埋め込み）は、入力されたクエリに対して仮の文書を生成し、その文書を埋め込み、検索に使用する手法です[1]。典型的な文書検索では、ユーザーが入力したク
LangChain への OpenAIのRAG戦略の適用｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基
RAGにおけるドキュメント検索精度向上について(概要編)
はじめまして。損害保険ジャパン株式会社 DX推進部の眞方です。普段はリードエンジニアとして、新しいサービスのアーキテクチャ検討からローンチまでの作業や、新規技術を用いたアプリのプロトタイプ実装などを行なっています。 弊社では、LLM（Large Language Models）を活用したアプリケーションの開発を積極的に検討し、既に社内でいくつかのプロトタイプをローンチしています。 本記事では、その最も一般的？なユースケースの一つとも言えるRAG（Retrieval Augmented Generative）の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要を紹介させていただきます。実際の詳細な手法および結果については、別記事（実践編）で解説予定です。 はじめに RAGとは？ この記事を読まれている方の中にはご存知の方も多いでしょうが、RAGとはRetrieval A
Demo or Die（SI現場でいろいろ作った話） - Fujitsu Advent Calendar 2016 13日目 - やまぐ雑記。
Fujitsu Advent Calendar 2016 13日目の記事です。 ワクワクする夢の技術ではなく、ドロドロした現実の現場での話。 Demo or Die Demo or Die ―デモを見せられないアイディアは、死んでいるのと同じ。 MITって大学のメディアラボのスローガンだ。うちの研究室はこの文化でやってるよ。 大学教授の言葉がずっと印象に残っています。動かさなければ意味は無い、と。 小学生の頃からプログラミングが楽しくて、社会に出てもその道で人を幸せにしたいと考えていました。 入社して 配属、そして疑問 いわゆる"客先常駐型"の、開発プロジェクトごとに人が集まる現場に配属。 言語はJava、人数は約60人。既に稼働し、改修や保守を行うフェーズでした。 たくさんの人の役に立てるシステムに携われるんだ、とワクワクしていました。 ほどなくして、不思議に思うことが出てきます。 配属
Slack Botによるヘルプページの情報参照:LLMを組み合わせたRAGの実装
はじめに 株式会社スマートショッピングで SRE をしているbiosugar0です。 先日、2023 年 10 月 23 日に行われた Amazon Bedrock Prototyping Camp というイベントに参加してきました。 そこでは Bedrock の紹介から始まり、Claude のハンズオン、実際にプロダクト反映を目指したプロトタイピングを行うという内容でした。 今回はその中で検証、実装した社内用の Slack bot に弊社ヘルプページを参照させる事例を紹介します。 Retrieval Augmented Generation (RAG) Retrieval Augmented Generation (RAG)は、LLM を用いた処理において、外部のデータベースや文書と連携してより精度の高い回答を生成するためのテクニックです。 GPT-4 のような LLM は、学習に使用さ
Amazon RDS for PostgreSQLがpgvectorモジュールに対応しベクトル検索できるようになりました | DevelopersIO
近年は機械学習のモデル・アルゴリズムを使ってオブジェクトをベクトル表現し(embedding)、テキストやメディアなど様々なオブジェクトの検索や分類が盛んに行われており、LLMの流行と共にその勢いが増しています。 RDBのPostgreSQL向けにベクトル管理・検索を行う拡張モジュール pgvector がAmazon RDS for RDSでも利用できるようになり、Pineconeのようなベクトル検索特化型のデータベースを用意することなく、RDSインスタンス単体でベクトル検索ができるようになりました。 データベースのマネージドサービスとしては、これまでも Supabase 等が pgvector に対応していましたが、RDS PostgreSQL もついに対応しました。 制限 対応する最近傍探索 exact Approximation 対応距離 ユークリッド(L2)距離 内積 コサイン類
RAG is more than just embedding search - Instructor
RAG is more than just embedding search¶ With the advent of large language models (LLM), retrieval augmented generation (RAG) has become a hot topic. However throughout the past year of helping startups integrate LLMs into their stack I've noticed that the pattern of taking user queries, embedding them, and directly searching a vector store is effectively demoware. What is RAG? Retrieval augmented
RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
ベクトル検索で欲しい情報が得られないときの問題点と改良方法を考えてみた | DevelopersIO
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えばある社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して
Googleによる新たな検索体験。知りたいことを検索すれば生成AIが要約してくれるように
Googleによる新たな検索体験。知りたいことを検索すれば生成AIが要約してくれるように2023.09.03 09:0012,930 ヨコヤマコム この試験管はなんだろう。 Googleが、検索の新機能として生成AIによる検索体験（SGE）の試験運用を開始しました。 この機能は、GoogleのSearch Labsにアカウント登録をすることですぐに利用可能です。 PCでは、ChromeブラウザでGoogleトップページや検索結果ページにある｢試験管アイコン｣からSearch Labsのページへ。さらに｢SGEを有効にする｣というトグルをオンにすればOK。 スマートフォンでは、AndroidとiOSともGoogleアプリから利用可能。アプリにある｢試験管アイコン｣から、PCと同様にページへ遷移してトグルをオンにするだけです。 Googleが検索結果をAIで要約してくれるGIF: Google
9億人の顔を学習、ネット上から4秒で写真を探し出す「PimEyes」——盗撮追跡サービスに寄せられる賛否両論 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: PimEyes 盗撮された写真を追跡できないという問題を解決するため、スタートアップの PimEyes は Googleの 画像検索機能よりも精度が高く、写真で人を検索することに特化した検索エンジンを開発した。関係者によると、現在、検索システムの精度は90％とのことだが、画像検索ができる便利なサービスであるものの、個人情報の流出や技術的な悪用など賛否両論があるようだ。 我々の周りの誰もが何らかの形で写真を盗撮された経験があるが、さらに悪いことは、盗撮さえたことにすら気づいていないということだ。 ポーランドに拠点を置くスタートアップ PimEyes は、AI 技術を使って、インターネット上に散らばるすべての写真を4秒で見つけ出し、それらを削除するための文書の作成を支援する。CNN の Rachel Metz 氏は、10年前に友人の結婚式で撮った写真を PimEye
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OneDrive、自然言語AIでファイルの要約作成や検索が可能に。UIも刷新
