Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】
はじめに この記事はHugging Face CourseのIntroduction~Transformers, what can they do?あたりの内容を自身の見解なども合わせてまとめたものになります。 Hugging Faceって？ Hugging Faceとは主に自然言語処理のモデル開発やそれらのオープンソース提供を行っているアメリカの会社で、機械が人間と同じようにテキストを理解する技術開発に貢献することを目標としているそうです。私もこういう理念には強く共感できます。 Transformerを軸においた技術開発がメインに行われているようです。 ロゴがなんかかわいい。 Transformerについて Transformerとは系列データを逐次処理で学習するのではなく、まとめて学習させられるように設計されたモデルで、それによってGPUによる並列処理の恩恵をより受けられるようになり、
ハイブリッド検索で必ずしも検索性能が上がるわけではない - Ahogrammer
最近では、RAG（Retrieval Augmented Generation）を使って、検索して得られた文書を生成時に活用することがありますが、その性能を改善するための手法の1つとしてハイブリッド検索が知られています。ハイブリッド検索は、2つ以上の異なる検索技術を組み合わせた検索方法です。最近は、全文検索とベクトル検索の組み合わせを見ることが多く、その良いとこ取りをすることで検索性能を改善します。 ハイブリッド検索の有効性はいたるところで報告されていますが、「適当に全文検索とベクトル検索を組み合わせるだけで性能が上がるのか？」というとそれには疑問があります。ハイブリッド検索では、全文検索とベクトル検索の結果をランク融合アルゴリズムを使って統合することが行われます。そのような仕組み上、どちらか片方の検索性能が低い場合、全体としての性能が下がることが考えられるはずです。 そこで本記事では、日
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
