ABテストの対象をいい感じに割り振る方法 - Gunosyデータ分析ブログ

こんにちは、データ分析部の石塚 (@ij_spitz) です。 最近聴いている曲は久保田利伸さんのLA・LA・LA LOVE SONGです。 ロンバケ最高でした、月曜９時はOLが街から消えるというのも納得です。 Gunosyではプロダクト改善のためにABテストを用いて意思決定を行っています。 今回はタイトルにもある通り、ABテストを実現させる上で必要となる対象の割り振り方法を、Gunosyで以前使っていた従来の手法と半年ほど前に新しく導入した手法の2つをご紹介します。 いい感じってなんだよと思われるかもしれませんが、従来の手法の課題を解決するようにいい感じに割り振る方法と理解していただければと思います。 それぞれの運用上で気づいたメリット・デメリットなども合わせてご紹介します。 従来の手法 以前はユーザIDを100で割った余りを使用していました。 例えば、全ユーザの1%でテストしたいという

[ishitsukajun]

書いた

[t-ishiwata-112]

わかりやすい

[do7be]

key名とuser_idをハッシュ化した剰余

[wadandandadan]

ABテストの対象をいい感じに割り振る方法

[kakku22]

"mod だと以前のテストが影響してしまう可能性がある" なるほど確かに

[efcl]

A/Bの対象をユーザーIDの余りじゃなくて、ハッシュ関数で出す話

[Hmj-kd]

ABテスト

[somemo]

“(A/Aテスト) Experiments at Airbnb - Airbnb Engineering / (Group Validation) Detecting and avoiding bucket imbalance in A/B tests | Twitter Blogs, Scalable A/B experiments at Pinterest | Pinterest Engineering”

[azihsoyn]

どんどん改善されている

[beatinaniwa]

なるほど

[s-wool]

とても参考になる

[dr_paradi]

勉強になる