2017ABTestingTutorial – ExP Platform
Welcome to A/B Testing at Scale Tutorial Tutorial by: Pavel Dmitriev, Somit Gupta, Ron Kohavi, Alex Deng, Paul Raff, Lukas Vermeer Given at SIGIR 2017 and KDD 2017. Tutorial Outline Introduction to A/B testing (slides, video) What is A/B testing Brief history Why use A/B testing Examples Cultural Challenges Design of Experiments: Statistical Foundations (slides, video) Null-hypothesis testing, con
シリコンバレーのIT企業が利用しているA/Bテスト手法まとめ - データ分析エンジニアのブログ
いま注目すべきシリコンバレーの有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。 その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。 加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。 日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方で、海外のA/Bテストはプロダクト開発のサイクルの一部分となっています。 プロダクト開発のサイクルの一部としてA/Bテストを取り入れるためには、大量のテストを定常的に回していく仕組みが必要となってきます。 そこでデータドリブンであると言われているようなシリコンバレーのIT企業は自社でA/Bテストの基盤を作成しています。 今回は社内A/Bテスト勉強会で発表するために、シリコンバレーの有名IT企業がどのよ
Distributed Time Travel for Feature Generation
We want to make it easy for Netflix members to find great content to fulfill their unique tastes. To do this, we follow a data-driven algorithmic approach based on machine learning, which we have described in past posts and other publications. We aspire to a day when anyone can sit down, turn on Netflix, and the absolute best content for them will automatically start playing. While we are still wa
Microsoft Azure WebAppの 「トラフィックルーティング」を使って 「A/Bテスト」を試してみました。 |
前回「Microsoft Azure AppService WebAppのステージング機能を使ってA/Bテストを試してみました」という記事を書いたのですが、トラフィックの配分を行うテスト方法については試してませんでした。 Azureの「プレビューポータル」に「トラフィックルーティング」という機能が追加になっており、これを使うことで「トラフィックの配分を行うテストが簡単に行えるようになった」とのこと！ 実際に試してみました～。 プレビューポータルとは 「プレビューポータル」は見た目が完全に変わります。 ちなみに今までの管理画面は「クラシックポータル」。 今後高機能なサービスについては「プレビューポータル」のみ適用されるようになるそうです。 まずはよく使うwebサイトをホームに「ピン留め」する クラシックポータルでは左メニューに全サービスが表示されていたのですが、プレビューポータルは「すべて参
A/Bテストとユーザビリティテストの使い分け
A/Bテストは、用意した複数のデザインのどちらの成果指標がよりよいか、という結果を定量的に比較検討するための手法です。いくつかのデザインの選択肢があった場合に実際にユーザーに利用してもらうことで、どのデザインが最も数値目標達成率が高いかを把握するのには有効ですが、なぜその結果になったのか、という理由を把握することはできません。デザイナーの発想の域を越えることはできず、変更すべきデザイン要素が別のものだったとしても気づくことができません（例：真の問題は、色ではなく配置だった）。 一方、ユーザビリティテストは、ユーザーの利用状況を観察することで、目的達成を妨げる問題など、定性的な洞察を得るための定性的な手法です。まだ開発途中である場合や、リリースしたあとに、ターゲットとしたユーザーがどのように思考し行動するかを把握するのに有効ですが、定量的な指標による評価にはあまり向きません（それをしようとす
Big brother is A/B testing you - アンカテ
一年前くらいから、「グリーっていう会社はみんなが思ってるよりずっと凄い会社なんだぞ」という趣旨のエントリを書こうと思っていて、書く内容はほぼ頭の中でまとまっていたのだが、書かないでいるうちにこんなことになってしまった。→グリーが希望退職を200人募集、業績悪化で | Reuters 普通なら「ああ、書かないで良かった!」と思う所だろうが、私はブログを書く上で「これを書いてる奴はこんなにふうに馬鹿なんです」という情報開示がすごく大事なことだと思っているので、こんなチャンスを見逃す手は無く、忙しい中で無理して時間をひねり出して、あえてそれを書くことにした。 グリーで一番注目すべきことは「商売する上で客のことを知る必要はない」という考え方だと思う。この思想がグリーの根幹であって、これを失なわなければ、ゲームを捨ててもグリーはグリーとしてやっていけると思う。 客を知らずにどうやって商売をするのかと
A/Bテストよりすごい？バンディットアルゴリズムとは一体何者か - Qiita
オバマ大統領の再選に大きく寄与したことで大きな注目を集めているA/Bテスト。A/Bテストを導入した、することを検討している、という開発現場も多いのではないだろうか。 そんな中、Web上で次のような議論を見つけた。 20 lines of code that will beat A/B testing every time Why multi-armed bandit algorithm is not “better” than A/B testing 一言でまとめると「A/Bテストよりバンディットアルゴリズムの方がすごいよ」「いやいやA/Bテストの方がすごいし」ということだ。 で、バンディットアルゴリズムとは一体何者なのか？ そこでBandit Algorithms for Website Optimization (O'REILLY)を読んでみた。その結果分かったことを踏まえてざっくりと
バンディットアルゴリズムによる最適化手法
本書は、「多腕バンディット問題」と呼ばれる問題を解くためのアルゴリズムを、Webサイトの最適化という例をもとに解説する書籍です。 バンディットアルゴリズムに関する基本的な知識について、既存研究についての理解を十分に得て、多腕バンディット問題についての資料を自力で読めるようにすることを目的としています。 A/Bテストのような2者択一ではなく、新しいアイデアの探索と、既存のアイデアから最大限の利益を引きだすという矛盾する2つの問題を解決するための一助となるでしょう。なお本書はEbookのみの販売となります。 yuku_tさんによる本書の英語版とバンディットアルゴリズムに関するまとめ http://qiita.com/yuku_t/items/6844aac6008911401b19 まえがき 1章 2種類のキャラクター：「探求」と「活用」 科学者とビジネスマン 「探求」と「活用」のジレンマ 2
easyAB.js - A/B and Multivariate testing made easy
I'm in the mood for change. What about a new color for my download button? But wait. How will I be able to know which color is your favorite one? Ok, that should do the trick: $('#download-btn').easyab({ 'slot': 1, 'name': 'download-button-color', 'default-value': 'apple-green', 'alternatives': [{ 'value': 'fire-red', 'alternative': function($this) { $this.removeClass('btn-success').addClass('btn-
TechCrunch | Startup and Technology News
When Alex Ewing was a kid growing up in Purcell, Oklahoma, he knew how close he was to home based on which billboards he could see out the car window.…
Abba - JavaScript a/b testing
March 12, 2013 Abba - JavaScript a/b testing Abba is a self-hosted a/b testing framework built to help improve conversion rates on your site. Tuning signup and payment forms can have huge effects on your business, and it’s a good idea to supplement design and copy changes with data on how differences actually effect conversion. We built this tool for internal use at Stripe, and today we’re open-so
RequireJSを活用したキャッシュ防止、A/Bテスト、画像事前読込など - Kengo's blog
[for English user] This article is a simple introduction about my project for Japanese developer. You do not have to read this, reading this project directly would be enough. RequireJSの応用方法について調べた内容をGitHubでまとめています。実装詳細はGitHubをご覧いただくとして、このエントリではそれぞれの応用について簡単な紹介をしたいと思います。 キャッシュ防止 JavaScriptファイルがブラウザにキャッシュされてしまうために、スーパーリロードなりキャッシュのクリアなりをしないと変更後のファイルが試せないことがあります。 キャッシュを防ぐ方法としてクエリパラメータの利用が知られていますが、Requ
The home of exceptional digital experiences
Your all-in-one operating system for marketing Optimizely powers the entire marketing lifecycle, unlocking your team to create content with speed, launch experiments with confidence, and deliver experiences of the highest quality. Get started More about Optimizely One Content and digital teams have the same mission: delivering impactful, converting content to the right audience at the right time a
なぜ日本にテストの文化が根付かないか？ | dIG iT
dIG iT Digital Marketingに関する様々なテーマで発信するブログ。 若干ペースが落ちているものの、１本は濃い内容で書いてみてます！ ウェブサイトで実施されるテストの回数やアプローチなどを日本とUSで比較をすると、やはり少し日本の方が遅れている感があります。感覚的には今の日本でのWeb解析の盛り上がりが、USにおけるウェブサイトでのテストの状況といった感じです。 ちなみにWebサイトでのテストに実施については、USのある調査によると平均で４〜５回／月に実施されているところが最も多いというレポートもあったりします。日本は実際にどうでしょうか？恐らくそこまで＜テスト＞といった視点で実施していることは少ないのではないでしょうか？ そこで「なぜ日本においてテストの文化が根付いていかないのか？」について少しつらつらと考えながら書きだしてみたいと思います。ただ、これはあくまで私見なの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - github/scientist: :microscope: A Ruby library for carefully refactoring critical paths.
The Agony and Ecstasy of Building with Data
Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例
pathmapp.com
WordPress.com