日本語 RAG タスクで e5-large 並みの性能の ColBERT - A Day in the Life

先日公開された、ColBERT の日本語pretrainモデル、JaColBERTの性能が良いらしい。早速、普段評価に利用している、AIクイズ王のQ&A RAGタスクで評価してみた。 https://docs.google.com/spreadsheets/d/1eSYzxzIfN3uMIpFKDGCTQsIxuWYELBtD49LQbl88GUE/edit#gid=140790548 結果としては、multilingual-e5-large よりわずかに低い、という結果となった。学習データも少なく、モデルサイズも12層のBert(= multilingual-e5-smallと同じサイズ)とほとんど一緒なのにね、すごい。 ColBERT の実装と論文を読む というわけで、ColBERT に興味が湧いたので、論文と実装を読んでみる。 読んだ論文 ColBERT: Efficient and