ABテストが難しい場合の施策効果の評価・推定方法

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン

[owtowtowt]

> 個人的には今回のように、わかりやすく影響が大きそうな交絡だけを調整し、「何も考えない単純な差よりはかなりマシだろう」くらいに割り切ってしまうのが良いと考えています。

[misshiki]

“さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介”

[NATROM]

ランダム化比較試験が難しいときの医学介入効果の評価・推定方法と似ている。というか本質的には同じなんだろうね。

[morinaga3]

ABテスト

[nakag0711]

レビューの得点は考慮しないのだろうか

[fujiken1235]

テスト

[tel30]

めちゃおもろー

[yamaisan]

参考にする