ABテストの12の落とし穴 - 唯物是真 @Scaled_Wurm
Twitterで見かけた以下の記事で紹介されていた論文がおもしろそうだったので読んだ感想と内容のてきとーな紹介(詳しく知りたい人は元論文を呼んでください) マイクロソフトの研究者による、いわゆる A/B テストにおいてメトリックを解釈するときに陥りがちな罠12選。実例がことごとく直感に反していてとても面白かった。 https://t.co/jC9JOsx1uB— Shuhei Takahashi (@nya3jp) 2017年10月11日 内容が間違っている部分があったらコメントなどで教えていただけると嬉しいです 論文 このKDD2017の論文ではABテストの結果を解釈する時に陥りがちな12種類の罠についてMicrosoftの研究者が実例と対策を交えて説明しています Pavel Dmitriev, Somit Gupta, Dong Woo Kim and Garnet Vaz, "A D
【実録】36回のABテストでCV率8.3倍を実現するまでの全記録｜MarTechLab（マーテックラボ）
皆さんこんにちは。ギャプライズ鎌田（@kamatec）です。 突然ですがまずはこの図をご覧ください。 7ヶ月でCV（コンバージョン）率8.3倍。 これは、私たち改善チームが実に36回、ほぼ週1回のペースでABテストを繰り返し到達した数字です。 下記はチーム内で実際に利用していたABテストアイデアを集約していたスプレッドシートですが、検討したテストアイデアだけでいえばなんと120個ものアイデアが出ていました。 今回は、この36回のABテストにおいて “どのような思考プロセスのもとそれらが実行され、最終的にCV率8.3倍を実現したのか？” についての詳細を明らかにしていこうと思います。 ABテストは成功した時以上に、失敗したテストからどのような気付きを得るかが重要です。そこで成功例だけではなく、実際の失敗例とそこで改善チームがどう新たな仮説を構築するに至ったのかまで解説していきます。 それでは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
