タグ

設計とABテストに関するtama_1028のブックマーク (1)

  • ズバリ! 必要なサンプルサイズはいくつ? A/Bテストのための例数設計入門 - 廿TT

    こういう状況を考える 広告 A と広告 B で CVR(コンバージョンレート)に差があるかテストしたい。しかも仮説検定をやりたい。 A/Bテストに長い時間をかけるのは無駄だからやめたい(リスティング広告でやってはいけない8つの施策 | スポンサードサーチ再入門 | Web担当者Forum) 一方で一定のクリック数がなくては判断できない(Sexyなリスティング広告プレイヤーになるために…、スライドを公開します。 | SEM-LABO) では、結局一定のクリック数っていくつあればいいの? R で計算してみる。 用意するもの: 有意水準(α) 検出力(1-β) 広告 A の経験的 CVR 広告 B の期待される CVR ↑これらについては後で説明する。 CVR は CTR(クリック率)と読み替えてもらってもかまわない。なにかをなにかで割った「割合」なら同じように考えて問題ない。 広告 A という

    ズバリ! 必要なサンプルサイズはいくつ? A/Bテストのための例数設計入門 - 廿TT
  • 1