インターンでRAGシステムの検索エンジンの改善をおこないました - Uzabase for Engineers

UB Researchチームで2週間の短期インターンをしている梶川です。 現在、UB ResearchではRAGシステム構築に向けた研究を行っており、社内のさまざまなデータを正確に拾い上げるための検索エンジンの開発と評価を行っています。 今回、その検索エンジンに代わるモデルを用いて、実際の検索テキストで検索を実施した結果を報告します。 概要 近年、LLMを用いた文書生成が流行しており、その中でも外部情報を検索し、LLMに追加して生成させるRAGという技術が活用されています。RAGによって、LLMが知らない情報に対して正確な応答を返すことができ、UB Researchでもニュース記事や有価証券報告書などの情報に対してRAGを適用することを考えています。既存の検索エンジンには、国内データで学習されたBERTベースのモデルを用いていますが、今回、最新のモデルであるBGE-M3を用いて、検索を実施

[misshiki]

“今回は、ベクトル検索を改善を行うために、最新のモデルであるBGE-M3を用いて検証します。”

[sh19910711]

"BGE-M3: 多言語埋め込みモデル + 1テキストに対して3種類の埋め込みを生成 + 日本語の検索タスクに対して、高い性能が報告 / 長いテキストに対して埋め込みを生成する際にメモリ不足になる"