逐次的に検定を行っていると第一種過誤が増幅してしまう例（KDD 2017 : Peeking at A/B Tests より） - OKIYUKI99 Blog

最近KDD 2017のPeeking at A/B Testsの論文を読んでいました。 www.kdd.org その論文の問題設定に関わるこの図が少し気になっていました。 これは何かというと、 このシミュレーションでは、サンプルサイズ10,000のA/B Test（仮にAが5,000、Bが5,000の対象が集まるまで続ける）を行うという設定で、データはAとBともに平均0、標準偏差1の正規分布からサンプリングしたデータを使います。 これは全く同じ分布から生成されるデータですので、平均が同じである帰無仮説を棄却してしまうことは、False Positive = 第一種過誤が生じていることを意味します。 そのような設定のもと、対象が集まる度に逐次的に検定を行い、X個のサンプルサイズ（横軸）が集まるまでに設定した有意水準（0.05とか）で有意差が 一度でも 検出される（= P値が有意水準を下回った