Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog

2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした

[secondlife]

類似文章集合を巡回セールスマン問題近似で解く

[zgmf-x20a]

最近、difyを使えばこのあたり作れるのかなということを知った。

[wildhog]

メタアナリシス論文の自動生成も遠くはないのかもしれない。あとは査読者とのやり取りも自動化すれば業績が自動生成される…

[sh19910711]

"GPT-4-TurboのJSONモードを使い、検索ワードを生成 + 「Arxiv検索で」と明示させればそれっぽい / Embeddingに対してTSPを解いてソート + テーマ内での近しい内容同士が数珠つなぎで並べ替えた上で与えられたほうが良い"