RAGの性能を改善するための8つの戦略 | Fintan

近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ

[stealthinu]

『最後に私の好きな記事の事例を紹介』のとこが皮肉が効いてていいねｗ 確かに従来手法だけでもほとんど抽出できちゃうケースも多いだろう。

[Hironsan]

ちょこちょこ検証していた内容と調べた内容のまとめ。RAG作るのは簡単だけど、評価や改善は難しい。

[cloverstudioceo]

Embeddingで検索してホイッとプロンプトに渡してやればいいだけと思ったけど実際やってみると全然うまく動かないんだよな。参考にしたい。

[nemoba]

構造的理解を量で誤魔化した結果汎用的になったのが生成AIでスコープ絞ると同じ問題に返ってくるつう話になりそう

[sh2]

工夫しても精度があがっていないものもあり、なかなか大変な印象

[canadie]

RAGに関して日本語で最もよくまとまっており、かつ最新のものではないか。おそらく次 リンク先の論文と、その引用元論文をベースに書かれていると思うので興味のある人はどうぞ https://arxiv.org/pdf/2312.10997.pdf

[misshiki]

学術的な知見を踏まえた内容。例えばハイブリッド検索の性能比較例などを説明。

[masadream]

超良記事。RAGで考慮すべき技術項目が網羅的にまとまっている。RAGの精度向上は生成AIの課題じゃなくて自然言語処理・検索の課題そのものだと改めて思う。

[shields-pikes]

だいたい読んだ。現実的に考えて、主な改善戦略は、前処理とチャンクサイズとプロンプトの工夫の3つかなー。

[onesplat]

しょうもな

[T-norf]

RAGガチ勢。チャンクとセットでプロンプトの工夫も結構いる気もする。

[h_taiji]

活用する