A/Bテスト実践ガイドの実践
A/Bテスト実践ガイドの実践 2022/01/14 大杉直也 PyData Tokyo A/Bテスト pyData 持って帰ってほしいこと A/Bテスト実践ガイドは素晴らしい 今回、本の解説はしない そもそも〜の解釈分かれる歴史や思想の話と現場での実践の両極端を話す 抽象と具体の隙間を埋める話は、参考図書の推薦 # 今日の話の位置付け。そもそも〜の話 ４つの情報革命 計測と介入の革命 Web service IoT Industrial4.0 DX 機械学習の革命 ensemble学習 深層学習 シミュレーションベースの強化学習 動画や自然言語などの非構造データとマルチモーダル学習 ビッ...
[2022-01-14 PyData.Tokyo] メルカリにおけるA/Bテストワークフローの改善、これまでとこれから
[2022-01-14 PyData.Tokyo] メルカリにおけるA/Bテストワークフローの改善、これまでとこれから
![[2022-01-14 PyData.Tokyo] メルカリにおけるA/Bテストワークフローの改善、これまでとこれから](https://cdn-ak-scissors.b.st-hatena.com/image/square/a0e2f75d83968bf35dfc3c544297f38c13b0c8d0/height=288;version=1;width=512/https%3A%2F%2Flh7-us.googleusercontent.com%2Fdocs%2FAHkbwyKapbCRn3wEtMcDBCUPoctkzJDodtW4KOgZTKLxZXC8YkZLDHBPTV6_ciFiujUW__yBqMYx-Y3pPty1CJ6gC1IGyanEVEqf0LsK95DhmqVgJKjZR__o%3Dw1200-h630-p)
メルカリにおけるA/Bテスト標準化への取り組み
2021/7/28, Retty ✕ Mercari Analyst Talk Night! https://mercari.connpass.com/event/218848/
なぜあなたのA/Bテストはうまくいくのか？A/Bテストの分析で注意すること | CyberAgent Developers Blog
概要 同じ介入を比較するA/Aテストで統計的に有意な差が出てしまうケースがある その原因は、A/Bテストの指標の設計に失敗していることかもしれない この問題の対処法としてユーザベースCTR、デルタメソッド、クラスターロバスト標準誤差を紹介する これらの手法は実務で運用する上では一長一短 はじめに AI事業本部Dynalystの伊藤、小売セクターの藤田(@6km6km)です。 DynalystはReal Time Biddingと呼ばれる広告オークションにおいて広告枠の買付を行うプラットフォーム（DSP: Demand Side Platform）です。DSPでは、ユーザに広告を表示する際に複数あるクリエイティブの候補からひとつクリエイティブを選ぶ必要があり、その選択ロジックにバンディットアルゴリズムを用いています。（参考リンク1, 2） 以下では、バンディットアルゴリズムのA/Bテストをす
メルカリにおけるA/Bテスト標準化への取り組み｜Mercari Analytics Blog
こんにちは、Analytics Infra チームの @yaginuuun です。主にA/Bテスト周りの改善や Recommendation 関連の分析を担当しています。 当ブログは 2021/07/28 に開催された Retty ✕ Mercari Analyst Talk Night! におけるLT内容を改めて少し補足を加えながらブログの形に書き起こしたものです。 当日の資料はこちらです。 A/Bテストとは A/Bテストは Randomized Controlled Trial (RCT) とも呼ばれる効果検証手法です。最も単純な例をあげると、二つの群を用意し片方の群にのみ何かの変更を加えることでその変更による数値変動を評価します。 A/Bテスト自体は医学や農業の分野など幅広く行われています。特に医学の領域においては Level of Evidence という考え方があるようですが、A
A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは
経営層やリーダー、データサイエンティスト、エンジニア、アナリスト、プロダクトマネージャーなど、企業の全関係者を対象として、その概念から実験を実施するためのプロセス、よくある落とし穴、オンライン実験をスケールさせるために必要なことまで、A/Bテスト、コントロール実験の詳細を解説する。 Google, Amazon, Microsoft, LinkedInなどで実際に実践された経験から得られた教訓や落とし穴などがふんだんに盛り込まれており、データ駆動型の文化の確立、科学的な意思決定に必要なスキルを獲得できる。 経営層やリーダー、データサイエンティスト、エンジニア、アナリスト、プロダクトマネージャーなど、企業の全関係者を対象として、その概念から実験を実施するためのプロセス、よくある落とし穴、オンライン実験をスケールさせるために必要なことまで、A/Bテスト、コントロール実験の詳細を解説する。 Go
A/Bテストより10~100倍効率的なランキング評価手法 インターリービング（Interleaving）のまとめと実践 - Qiita
はじめに 2つのシステムの性能やデザインを比較したいときには、A/Bテストを行うことがあります。UIの変更など、比較すべきシステムが多くないような場合で、かつ、たくさんのページビューがあるようなサービスを運用している場合にはA/Bテストでも良いかも知れません。しかし、比較すべきシステムが複数ある場合や、あまりページビューがない場合、A/Bテストで有意な結果を得るためには長い時間がかかってしまうことが知られています。 そこで注目を集めているのが、近年提案されたインターリービング（Interleaving（日：交互配置））という手法です。検索や推薦システム等のランキングを行うシステムにのみ適用が可能ですが、実験的にA/Bテストよりも10~100倍効率的であるということが知られています。この記事では最近の論文によって報告されているインターリービングの性能について、また、各種インターリービング手法
ML Platform Meetup: Infra for Contextual Bandits and Reinforcement Learning
Infrastructure for Contextual Bandits and Reinforcement Learning — theme of the ML Platform meetup hosted at Netflix, Los Gatos on Sep 12, 2019. Contextual and Multi-armed Bandits enable faster and adaptive alternatives to traditional A/B Testing. They enable rapid learning and better decision-making for product rollouts. Broadly speaking, these approaches can be seen as a stepping stone to full-o
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
Experiment Guide – Accelerate innovation using trustworthy online controlled experiments
Accelerate innovation using trustworthy online controlled experiments Trustworthy Online Controlled Experiments : A Practical Guide to A/B Testing Accelerate innovation using trustworthy online controlled experiments by listening to the customers and making data-driven decisions. The book is available in English on Amazon in two versions: Kindle Paperback It is also available in Chinese (JD, Dangd
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
A/B Testing with Fat Tails
A/Bテスト概論 / Introduction of ABTesting
[Online] PyData.Tokyo Meetup #25 ABテストの実践 - 資料一覧 - connpass![[Online] PyData.Tokyo Meetup #25 ABテストの実践 - 資料一覧 - connpass](https://cdn-ak-scissors.b.st-hatena.com/image/square/acd4f25f8181ec5c8c4495061d92820cb25ae4b2/height=288;version=1;width=512/https%3A%2F%2Flh6.googleusercontent.com%2FN0-G6HU0b5gcKJrIbPX8_jzO0o05a50V4ZJiU9lt4O4Wc83pDrBsfZmzyq1bdYfAie7iDT2mHynsrA%3Dw1200-h630-p)
Eppo | Next-Gen Experimentation Platform for Today's Data Teams
DMMの検索に機械学習を導入して、A/B テストで圧勝した考え方 - DMM inside
GitHub - HEB/togglr
(PDF) Online Controlled Experimentation at Scale: An Empirical Survey on the Current State of A/B Testing
The Anatomy of a Large-Scale Experimentation Platform
The evolution of continuous experimentation in software product development | the morning paper
Ron Kohavi