エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
sparse_dot_topnを使った高速なcos類似度計算 | 株式会社AI Shift
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
sparse_dot_topnを使った高速なcos類似度計算 | 株式会社AI Shift
こんにちは! AIチームの戸田です。 今回はKaggleのInformation Retrievalタスクのコンペティション、Le... こんにちは! AIチームの戸田です。 今回はKaggleのInformation Retrievalタスクのコンペティション、Learning Equality - Curriculum Recommendationsの1st solutionでも使われていたsparse_dot_topnによるcos類似度計算の高速化を試してみたいと思います。 sparse_dot_topn 著者らのブログより QA検索のようなクエリに類似する文章を検索するようなタスクにおいて、近年はBERTなどの事前学習済みモデルから文章の特徴ベクトルを抽出して比較したり、Dense Passage Retrievalのような文書間の類似度を直接推定するモデルを利用する方が精度が良いと言われています。しかし実務では推論速度やGPUなどのマシンコストの点から、古典的なTF-IDFなどのスパースなベクトルの類似度を利用する