RAGの主役は生成AIではなく検索システムだという話 - Amazon Kendra と Amazon OpenSearch Serverless の比較 - - サーバーワークスエンジニアブログ
サーバーワークスの村上です。 煽った感じのタイトルですが、検索も大事だよね、と捉えていただけると幸いです。 このブログでは、同じ意味だけど検索対象ドキュメントとは違う言葉を使って検索した際に、きちんと検索できるのか検証してみました。 最初に記事のまとめ 検証したこと 弊社ホームページの検索 検証の目的 結論 Amazon Kendraの場合 Amazon OpenSearch Serverlessの場合 補足（というかDisclaimer） 前提 RAG（検索拡張生成）とは Amazon Kendraの検索 Amazon OpenSearch Serverlessの検索 検証手順 Amazon Kendraに弊社ホームページを取り込む Amazon OpenSearch Serverlessに弊社ホームページを取り込む CloudWatchからURLを取得 URLリストの作成 URLの内容
Amazon Kendra と大規模言語モデル (LLM) を使って生成 AI コンシェルジュを作ってみた ! - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは ! ソリューションアーキテクトの鈴木です。 最近は大規模言語モデル (LLM : Large Language Model) が話題に上がることが増えてきましたが、みなさんはお使いでしょうか ? 私自身もインターネットで検索するのと同時に LLM に聞くことが多くなりました。真面目な内容に限らず、どんな内容でも返答してくれるので使っていて楽しいですよね ! でも、LLM に問いを投げた時におかしな回答をされたことはないでしょうか ? これは LLM が言葉のつながりを学習したものであり、あるトークンに続くトークンはどれであるかを確率として算出し、その可能性が高い「つながりそうな」トークンを続けるために起こります。この仕組みでは個々のトークンが持つ意味などは考慮されません。 この問題に対処するために、検索拡張生成 (RAG : Retrieval Augmented Genera
GitHub - pchunduri6/rag-demystified: An LLM-powered advanced RAG pipeline built from scratch
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Despite their remarkable capabilities, large language models (LLMs) often produce responses containing factual inaccuracies due to their sole reliance on the parametric knowledge they encapsulate. Retrieval-Augmented Generation (RAG), an ad hoc approach that augments LMs with retrieval of relevant knowledge, decreases such issues. However, indiscriminately retrieving and incorporating a fixed numb
Intro to LLM Agents with Langchain: When RAG is Not Enough
Hello everyone, this article is a written form of a tutorial I conducted two weeks ago with Neurons Lab. If you prefer a narrative walkthrough, you can find the YouTube video here: As always, you can find the code on GitHub, and here are separate Colab Notebooks: Planning and reasoningDifferent types of memoriesVarious types of toolsBuilding complete agentsIntroduction to the agents Illustration b
GitHub - aws-samples/jp-rag-sample: このソリューションは AWS 上で検索用途の Retrieval Augmented Generation (RAG) を構築するサンプルコードです。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[登壇レポート]「生成AI時代の必須スキル！RAGの回答精度向上のコツ全部教えます」で登壇しました | DevelopersIO
新規事業部 生成AIチームの山本です。 2024/04/24にオンラインで開催した弊社セミナー「生成AI時代の必須スキル！RAGの回答精度向上のコツ全部教えます」にて登壇をしましたので、自分の発表資料を共有いたします。 資料 資料に関する補足 今回は、RAGを始めたい方や始めてすぐな方に向けて登壇を行いました メインの内容は、1～73ページです。 また補足として、既にRAGを導入し進めている方向けに、補足情報を74ページ以降に記載しました。 Q&A 以下、いただいた質問と、差し上げた回答の内容です。山本がメインで回答していますが、一部は（同じく登壇した）熊谷が回答しました。一部、本記事の記載に伴い補足を追加しました。 Q: LLMとragを活用し、毎日の1000人規模全社のeメール（参考ドキュメント）から、トラブルや不正予兆のあるメールを抽出することはできますか。なお、教師データ（メール）
![[登壇レポート]「生成AI時代の必須スキル！RAGの回答精度向上のコツ全部教えます」で登壇しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/30781ec4e024829f38d7883d643b9d8e53ec927c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F03%2F240424_ai_rag_w1200h630-1.png)
PythonからAzure AI Searchのシノニムマップを作成し、クエリ拡張をして、その効果を日本語の質問応答データセットで確認してみました。昔からある機能で、とくに何か新しいことをしているわけでもないのですが、使いそうな機会があったので試してみました。 本記事の構成は以下のとおりです。 シノニムマップ シノニムマップの作成 インデックスの作成 実験設定 実験結果 参考資料 シノニムマップ 記法は、Apache SolrのSynonymFilterの仕様に準拠しています[1]。Solrのドキュメントを読む限り、現在ではSynonymFilterは非推奨で、代わりにSynonymGraphFilterを使うことが推奨されていますが、為す術もないのでそのまま使います。2つの違いについては[2]がわかりやすいです。SynonymFilterでは、以下の2種類の規則をサポートしています。 同
Azure OpenAI Service + Azure AI Search(旧：Cognitive Search）でのRAG環境の精度向上を考えてみた - Qiita
社内のデータからGPTに回答をさせる方法 GPTはある特定の期間までの公開されている情報からしか回答をする事が出来ません。企業の中にある機密情報は学習していないので、GPTに質問をしてもGPTは回答のしようがありません。では社内のデータからGPTに回答を生成してもらうためにはどのような方法があるのかと言いますと、これは大きく２つ存在します。１つが「ファインチューニング」と言う方法。もう一つが「RAG」と言う方法になります。 ファインチューニング ファインチューニングは学習済みのGPTモデルに対して、社内の情報を使って追加で学習を行うと言う事となります。これによって、ユーザーが例えば「社内の○○について教えて」とGPTに質問をすると、GPTは社内のデータを追加で学習しているので回答ができるようになるという方法です。 一見すると画期的な方法に見えますが、実際には学習コストが非常に高く、さらには
Query Transformations
Although this is not a new phenomenon (query expansion has been used in search for years) what is new is the ability to use LLMs to do it. Below are a few variations of papers and retrieval methods that take advantage of this. They are all using an LLM to generate a new (or multiple new) queries, and the main difference is the prompt they use to do that generation. Rewrite-Retrieve-ReadThis paper
RAGについて情報をまとめる
RAGについてまとめ RAG情報が溢れているので整理しています。 RAGの概要・入門 RAGの性能改善のテクニック まとめ 手法 RAG関係の論文 RAG関係のサーベイ論文 サーベイ論文の解説記事 RAG（検索拡張生成）包括的な論文をわかりやすく解説 コサイン類似度が本当に適しているのかをといかける論文 retrieval-augmented thoughts(RAT)という手法について書かれた論文 RAGのエラーの分類に関する論文 HyDEという手法の論文 HyDEのノートブック メタ認知をRAGに適用 実践 評価 RAGの評価ソフト ブログ記事 LLMのRAGを用いたコンペ まとめ 随時更新中です。 関連記事
2024年4月18・19日、角川アスキー総合研究所（以下、ASCII）と日本マイクロソフトは、生成AIの活用コンテストである「AI Challenge Day 2024 in Kobe」を開催した。会場となったMicrosoft AI Co-Innovation Lab 神戸には、日本マイクロソフトの10社のパートナーが集まり、生成AI活用で注目度の高いRAGアーキテクチャとマルチモーダルの2つのテーマにチャレンジ。プレゼンと結果発表の模様はYouTubeで配信された。白熱の2日間を審査員の大谷イビサがレポートする。 パートナー10社の猛者たちが神戸に集結 RAGの精度を争う AI Challenge Day 2024の会場となるMicrosoft AI Co-Innovation Lab 神戸は、神戸の海側に近い神戸商工貿易センターの中にある。ビル自体は決して新しいわけではないが、フロア
LLMs are a powerful new platform, but they are not always trained on data that is relevant for our tasks. This is where retrieval augmented generation (or RAG) comes in: RAG is a general methodology for connecting LLMs with external data sources such as private or recent data. It allows LLMs to use external data in generation of their output. This video series will build up an understanding of RAG
GitHub - stanford-oval/WikiChat: WikiChat stops the hallucination of large language models by retrieving data from Wikipedia.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Azure AI Search(旧: Cognitive Search)のチャンク分割＋ベクトル化が簡単になったので試す！(2/2) - Qiita
Azure AI Search(旧: Cognitive Search)のチャンク分割＋ベクトル化が簡単になったので試す！(2/2)AzureCognitiveSearchAISearch はじめに 前回ではAzure AI Searchのチャンク分割＋ベクトル化のやり方について解説しました。 この方法では言語アナライザーがデフォルト(英語)になってしまうので、フルテキスト検索の精度が悪くなってしまいます。今回は言語アナライザーを日本語にする方法について解説していきます。 やり方 インデックスを作る部分は前回の記事をご参照ください。今回はこちらの作成済みのインデックスを使います。 JSONの編集をクリックし、メモ帳などにコピーします。 既存のインデックスは一度削除します。 インデックスの追加(JSON)をクリックします。 先ほどメモ帳にコピーしたJSON形式のインデックスを貼り付けます。
RAGを使った生成AIボットでユーザの意図を理解して対話するためのフローを考えてみた | DevelopersIO
はじめに 新規事業部統括部インターンの高橋です。ここ最近はすさまじいスピードで様々な生成AIがリリースされていますね。そのなかでもChatGPTをはじめとするLLMの活用には注目が集まっており、多くの方が使用していると思います。 LLM（Large Language Model）とは大量のテキストデータを学習した言語モデルのことで、一般的な事柄であれば私たちの質問に対して十分納得感のある回答を返してくれます。しかし、LLMが学習したデータに含まれない事柄については正しく回答することができません。 この問題を解決する方法としてRAG（Retrieval Augmented Generation）という手法が用いられます。これは、LLMに外部の情報源（ここでは社内ドキュメントなど）を与えることで、それを参照して回答を生成してもらおうという手法です。ユーザは事実に基づく情報をベースにした回答を得
取得拡張生成 (RAG) は、グラウンディング データを提供する情報取得システムを追加することで、ChatGPT などの大規模言語モデル (LLM) の機能を拡張するアーキテクチャです。 情報取得システムを追加すると、応答を作成するときに LLM によって使用されるグラウンディング データを制御できます。 エンタープライズ ソリューションの場合、RAG アーキテクチャは、ベクトル化されたドキュメントや画像、およびそのコンテンツの埋め込みモデルがある場合は、その他のデータ形式から取得された "エンタープライズ コンテンツ" に生成 AI を制限できることを意味します。 どの情報取得システムを使用するかによって LLM への入力が決定されるため、この決定は重要です。 情報取得システムは、次の情報を提供する必要があります。 必要な頻度で、すべてのコンテンツに対して、大規模に読み込んで更新するイン
Azure AI Search(旧: Cognitive Search)のチャンク分割＋ベクトル化が簡単になったので試す！ - Qiita
Azure AI Search(旧: Cognitive Search)のチャンク分割＋ベクトル化が簡単になったので試す！AzureCognitiveSearch はじめに 2023年11月Microsoft IgniteでAzure AI Search(旧：Cognitive Search)の大幅なアップデートがありました。Azure AI Searchでチャンキング＋ベクトル化を行うには、Azure OpenAI on your data経由で作ったり、公式が用意したPythonのデータ準備ツールなどを利用する必要がありました。今回、ようやくこの機能がプレビュー版としてAzure AI Searchに統合されたので使ってみたいと思います！ こちらが公式の記事となります。 試してみる Azure AI Searchのリソースにいくと「概要」に「データのインポートとベクター化」という項目が
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
Azure AI Searchを使った同義語によるクエリ拡張とその効果 - Ahogrammer
日本マイクロソフトのAIパートナー10社が神戸に集合 RAGとマルチモーダルに挑む (1/7)
RAG From Scratch: Part 1 (Overview)
RAG と生成 AI - Azure AI Search