RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO

はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい

[masadream]

良記事。RAGの精度改善で考慮しないといけない観点が網羅的に検討されていると感じる。読み込んで参考にしたい。

[onesplat]

マジで大したことやってないな

[canadie]

とっかかりには良い資料。ただコンテキスト10個は体感多い。なぜならGPTモデルは先頭が強いとあるが、厳密には真ん中あたりを無視する。触れられてないこととして、時間はかかるがマルチラウンドRAGが有効

[sh2]

このあたりの工夫をいい感じにパッケージングした製品が欲しいところ

[isrc]

どのモデルを使うのかに関して基本的にはGPT4を使うのがオススメ／LLMは無駄な情報は無視して回答してくれるので、基本的な方針としては「量を増やす」／大量の関連テキストを使用したい場合、中間に圧縮処理を挟む

[misshiki]

経験に基づくRAGの知見。“筆者が把握しているRAGを使ってシステムを提供する際の現状や課題感について記載。” 一読の価値あり。

[hedachi]

“システム ”

[stealthinu]

非常に納得の内容で同意する。特に3-2の部分が重要だねと。自分も前はサマライズしてたが、読み込み長く出来るからやらなくてよくなったのうれしいよね。

[shields-pikes]

欲しかったやつー！！！　RAGをざっくり導入するのは簡単なんだけど、精度を上げるためのアプローチが難しいんだよね。基本的には、受け渡すデータの整理と前処理とプロンプトなんだけど、かなり手探り感がある。

[tolkine9999h]

めちゃくちゃ参考になる。じっくり読もう。

[takashi_kun]

とても分かる。シンプルに投入するtop-kを広げるのが一番効いたりする。