A/Bテストの時間短縮に向けて 〜ベイズ統計によるA/Bテスト入門〜 - Gunosyデータ分析ブログ

はじめに こんにちは、19卒でGunosy Tech LabのBIチームの齊藤です。 data.gunosy.io この記事はGunosy Advent Calender 2019の4日目の記事です。昨日の記事は高橋さん(@tkhs0604)によるプロダクトマネージャーカンファレンス2019 参加レポート でした。 はじめに 背景 ベイズ統計 例: 継続率 事後分布のプロット 継続率以外の指標は？ おわりに 背景 GunosyではUI・ロジックの変更等を行う際にA/Bテストにより効果検証を行っています。 data.gunosy.io 上記のブログの通り、従来の（頻度論に基づく）仮説検定ではA/Bテストを開始する前に有意水準、検出力、効果量を定めてサンプルサイズを求めなければなりません。またサンプルサイズを定めても必要なサイズを満たすのに何日かかるかも不透明であり、施策の実行→A/Bテスト→