情報検索の評価指標の弱点と選択バイアスを考慮した改善アプローチ - ZOZO TECH BLOG

こんにちは。検索基盤部の山﨑です。検索基盤部では、ZOZOTOWNの検索機能の改善を目的とした施策の有効性をA/Bテストで検証しています。 A/Bテストは、新たな施策の有効性を評価する手法として信頼性の高い手法ではあるものの、下記のような制約があります。 統計的に有意な差が出るためには、多くのユーザーからのフィードバックが必要である 比較手法を実際のユーザーに提示するため、ユーザー体験に悪影響を与えるリスクがある これらの制約から、実験したい全ての施策をA/Bテストで検証することは困難なため、事前に有効な可能性が高い施策に絞った上でA/Bテストに臨むことが大切です。 事前に有効な可能性が高いことを示すためには、オフラインでの評価結果を活用します。しかし、オフライン評価とA/Bテストの結果は必ずしも一致しないことが知られており、ZOZOTOWNにおいても同様の問題が発生しています。 このよう

[misshiki]

“情報検索の評価指標で広く使われているnDCG（normalized Discounted Cumulative Gain）と MRR（Mean Reciprocal Rank）について説明。...近年、nDCGやMRRに対して選択バイアスを考慮するように拡張した評価手法が提案されています。”