2021/7/28, Retty ✕ Mercari Analyst Talk Night! https://mercari.connpass.com/event/218848/
メルカリにおけるA/Bテスト標準化への取り組み
2021/7/28, Retty ✕ Mercari Analyst Talk Night! https://mercari.connpass.com/event/218848/
ヤフーの広告配信で機械学習の改善サイクルを高速化した話 〜 TensorFlow Serving導入
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。
DMM動画サービスでA/Bテストを1年間運用してわかったこと - DMM inside
はじめに こんにちは。動画配信事業部 EC-Growthチームの宮園です。 DMMの動画配信サービスをGrowth（成長）させるためのEC-Growthチームでは、アナリストと共に売上向上に繋がる施策を打ったり、ユーザのエンゲージメントを高める施策に日々取り組んだりしています。 今回は、私たちのチームが取り組んできたことのなかで近年一番役立ったA/Bテストという手法に焦点を当ててお話ししたいと思います。 A/Bテストをご存知ない方、聞いたことはあるけどどのように進めれば良いのかわからず導入を躊躇している方に、私たちの体験談が参考になれば幸いです。 私たちがどうしてA/Bテストに取り組むことになったのか ツール選びはどうしたのか 実際にやってみてどうだったのか 目次 はじめに 目次 A/Bテストとは A/Bテストとは、Webマーケティングにおける施策判断の手法の１つ ツールの紹介 用いたツー
A/Bテストのベストプラクティスと落とし穴 ~KDD2019 レポート~ - Gunosyデータ分析ブログ
はじめに 研究開発チームの関です。古川未鈴さんの結婚、ニジマス大門果琳さんの卒業、uijinの解散とアイドル業界も激動の秋を迎えていますね。 2019年8月4日から5日間、アメリカはアラスカ州アンカレッジで開催されたデータマイニング領域のトップカンファレンスであるKDD2019にGunosyから北田と関が参加・発表してきました。 これまでに2つのレポートを公開しています。 data.gunosy.io data.gunosy.io 本レポートではTutorialとして開催された「Challenges, Best Practices and Pitfalls in Evaluating Results of Online Controlled Experiments」の内容をレポートします。 内容は現在のA/Bテストのガイドラインと言ってもいい内容で、非常に参考になるポイントが多かったです。
広告クリエイティブの重要性・統計学の基礎を理解していますか？
運用型広告 注目記事Pick Up：2024年2月によく読まれた記事をまとめて紹介- 2024年3月28日 フェディバースとは？スレッズを中心としたソーシャル連合体は実現するか- 2024年3月22日 Microsoft 広告 アカウントマネージャーに聞く第17回：Microsoft 広告、PMAX がすべての市場で提供開始（3月アップデート）- 2024年3月22日 Criteo、インティメート・マージャーの共通IDソリューション「IM-UID」と連携- 2024年3月22日 Googleの決算書をわかりやすく解説：2023年4Q 過去最高売上を記録！ 知っておくべきポイントは？- 2024年3月1日 ※本記事は、クリエイティブ制作・量産化を実現するクラウドサービス「アドサイクル・クリエイティブメーカー」を開発・提供している株式会社エフォートサイエンス 代表取締役 村上和也さんよりご寄稿
AndroidアプリにおけるA/Bテストのための実装 - Gunosy Tech Blog
はじめに こんにちは。今年10月に入社したグノシー事業部の高橋(@tkhs0604)です。 先週、胃腸炎に罹りました。来年の抱負は「健康第一」にしたいと思います。 この記事はGunosy Advent Calendar 2018、20日目の記事です。昨日の記事はUTさん(@mocyuto)の「まだログイン認証で消耗してるの？ ~ALBで簡単認証機構~」でした。 前職はSIerで、入社から約1年は営業をしていましたが、その後エンジニアに社内ジョブチェンジし、WebアプリとAndroid/iOSアプリの開発に携わっていました 。 転職活動中にGunosyでは施策の検証を毎日データを見て行っているという話を聞き、それが当時の僕にとっては衝撃的でした。感性ではなくデータに基づきユーザと向き合う実直な姿勢に魅了され、入社を決意しました。 今回は、その取り組みのコアを担う「A/Bテスト」について書きた
A/Bテストを繰り返してわかったこと - astamuse Lab
デザイン部でフロントエンドエンジニアをしているkitoです。 今回は、A/Bテストについて書きたいと思います。 A/Bテストとは、例えば、AパターンとBパターンでそれぞれ色の違うボタンを用意し、どちらか一方のボタンを50%の確率でWebサイトに表示させることで、どちらの色のボタンがユーザーによりクリックされたか、よりコンバージョンに繋がったかを調べることができるテストです。 A/Bテストは多くのWebサイトで行われています。あなたがNetflixを訪れたとき、動画のサムネイル画像が前回の見たときと違っていることに気がつくことがあると思います。それらは進行中のA/Bテストか、もしくはテストの結果として表示されている画像なのです。 また、最近発売された『2万回のA/Bテストからわかった 支持されるWebデザイン事例集』という本には、日本の有名サイトがいかなる課題をもとにA/Bテストを実施して、
グロースとは学びを得ること - 後編｜Go Ando / PREDUCTS / THE GUILD
こんにちは、THE GUILDの@goandoです。 「グロースとは学びを得ること - 前編」の続きです。 後編ではグロースにおけるABテストの価値について、グロースに取り組む中で得た気付きと世界の動向をご紹介します。 正しいABテスト多くの方がご存知のABテストですが、時折見かけるのが「改善案Aと改善案Bの方法のどちらがより良い結果に繋がるかを検証」するための方法として利用し、更には全てのユーザーをランダムに50% vs 50%にスプリットして行っているケースです。 これは正しいABテストの利用方法ではなく、本来は「現在の仕様A(対照群)に対し別の仕様B(介入群)の結果を比較」する実験方法で、仕様Bのみを特定の条件でランダムに抽出した一部の対象に対してのみ行い、元の状態との比較を行うのが本来の活用方法です。 ABテストは統計学や疫学の歴史の中で成り立ったランダム化比較試験の方法に基いてお
悪用厳禁：絶対に成功するA/Bテストの作り方
ソフトウェアエンジニアの間でも一般的な言葉になった「機械学習」。本書では、その機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性の高い機械学習プロジェクトの進め方などを「仕事で使う」という観点から整理し… オライリージャパンさんからは、売れ行きがとてもいいという話を伺っており、これで新しいノートPCを買う足しになるかなぁと思っています。 物理本については少数ですが、Cloudera World Tokyo2017で限定販売されるそうです。CWT2017申し込みが始まったので、物理版がほしい方は申し込むとよいんじゃないでしょうか。 書評もいくつか届いており、勝手ながら紹介させていただきます。
ABテストの12の落とし穴 - 唯物是真 @Scaled_Wurm
Twitterで見かけた以下の記事で紹介されていた論文がおもしろそうだったので読んだ感想と内容のてきとーな紹介(詳しく知りたい人は元論文を呼んでください) マイクロソフトの研究者による、いわゆる A/B テストにおいてメトリックを解釈するときに陥りがちな罠12選。実例がことごとく直感に反していてとても面白かった。 https://t.co/jC9JOsx1uB— Shuhei Takahashi (@nya3jp) 2017年10月11日 内容が間違っている部分があったらコメントなどで教えていただけると嬉しいです 論文 このKDD2017の論文ではABテストの結果を解釈する時に陥りがちな12種類の罠についてMicrosoftの研究者が実例と対策を交えて説明しています Pavel Dmitriev, Somit Gupta, Dong Woo Kim and Garnet Vaz, "A D
ABテストの対象をいい感じに割り振る方法 - Gunosyデータ分析ブログ
こんにちは、データ分析部の石塚 (@ij_spitz) です。 最近聴いている曲は久保田利伸さんのLA・LA・LA LOVE SONGです。 ロンバケ最高でした、月曜９時はOLが街から消えるというのも納得です。 Gunosyではプロダクト改善のためにABテストを用いて意思決定を行っています。 今回はタイトルにもある通り、ABテストを実現させる上で必要となる対象の割り振り方法を、Gunosyで以前使っていた従来の手法と半年ほど前に新しく導入した手法の2つをご紹介します。 いい感じってなんだよと思われるかもしれませんが、従来の手法の課題を解決するようにいい感じに割り振る方法と理解していただければと思います。 それぞれの運用上で気づいたメリット・デメリットなども合わせてご紹介します。 従来の手法 以前はユーザIDを100で割った余りを使用していました。 例えば、全ユーザの1%でテストしたいという
1日1000個のA/Bテストを行う「Booking.com」の開発の裏話を聞いてきました【前編】
宿泊予約サイトの「Booking.com」は社員数人のスタートアップから始まり、1万3000人の世界的規模にまで成長した会社。「2つの選択肢のうちいずれがユーザーにとって優れているか？」ということを調べるためにA/Bテストを行うウェブサービスやウェブサイトは多くありますが、Booking.comでは何と毎日1000個のA/Bテストを行っているとのことで、開発の裏側はどうなっているのか、最高製品責任者(CPO)のデイビッド・ビシュマンズ氏に話を聞いてきました。 国内も海外も！ホテル・旅館の予約はBooking.com http://www.booking.com/index.ja.html 写真の男性がデイビッド・ビスマンズ氏。 「Booking.comで行われているA/Bテストとはどういうものなのか？」ということで、まずサンプルを見せてもらいます。1つ目のA/Bテストは、検索結果として現れ
A/Bテストの結果をGoogleアナリティクスで分析して、サイトをドンドン改善するには？（第91回） | Googleアナリティクス セグメント100選
GoogleアナリティクスでA/Bテストを実行したあとの、テスト結果の分析方法を知りたい。あまり知られていないが、GoogleアナリティクスにはA/Bテストを行う機能がある。A/Bテストとは、あるWebページについて、現状（Aパターン）と改善案（Bパターン）を実際にユーザーに利用させてみて、どちらがより効果的かを比較・実験する手法のことだ。 最近は、A/Bテストに特化した良質のツールが多数出てきているので、GoogleアナリティクスのA/Bテストは少し機能的に見劣りするところもあるが、無料で手軽に試してみるにはよいだろう。 GoogleアナリティクスのA/Bテストを行う機能は「ウェブテスト」という名前だ。今回はこの「ウェブテスト」を実行した後に、セグメントを使って効果を比較検証する方法を紹介する。 今回の記事では「ウェブテスト」の詳しい実行方法については説明しない。筆者の過去の入門講座など
レスポンシブデザインがすべてではない：マーケターが適応するべきデザインと開発のトレンド（中編） | Moz - SEOとインバウンドマーケティングの実践情報
トヨタをはじめとする競合は、サイトを訪れるほとんどのユーザーが車種の選択肢を見たがっているか、販売店を探しているのだと認識している。 ホンダもトヨタも、レーシングのサイトを用意しているし、産業用エンジンも販売している。しかしトヨタは、Toyota.comを訪れるほとんどのユーザーが消費者向けブランドを求めており、レーシングファンはグーグルで「Toyota racing（トヨタ レーシング）」と検索するだろうとわかっている。なお、Toyota.comのフッターには、さまざまな関連サイトへのリンクも置いてある。 僕の言う「モバイル限定デザイン」を避けるべきだとする原則の例外があるとすれば、それはデザイン事務所かもしれない。Big Spaceshipのサイトを見てほしい。 ここはデザインエージェンシーであり、僕よりはるかにウェブデザインに詳しい。これは素晴らしいサイトで、売り上げにもつながるだろ
ABテストで「女の子クリエイティブ」の神話崩壊。まったく出会えないチャットアプリ「ひまチャット」が教える、意外だったABテスト事例4 | アプリマーケティング研究所
ABテストで「女の子クリエイティブ」の神話崩壊。まったく出会えないチャットアプリ「ひまチャット」が教える、意外だったABテスト事例4 まったく出会えないチャットアプリ「ひまチャット」さんにお話を伺いました。 ※ALTR THINK株式会社 CEO 森口拓也さん（左）、森岡さん（右） 「ひまチャット」について 「ひまチャット」について教えてください。 森口： 「ひまチャット」は出会わない系のチャットアプリです。「ども！」というボタンから、日本中のいろんなヒマな人たち（匿名）に話しかけて、ヒマつぶしをすることが出来ます。 いまどのくらいのユーザーがつかっていますか？ 森口： いまのところ、登録ユーザー（≒ダウンロード数）が約100万人、MAUがざっくり20万人です。男女比としては半々くらいですね。 メッセージ数でいうと、全体で月に6,000万メッセージ（累計でいうと10億メッセージ）くらい、や
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
もう悩まない！ Web担当者／グロースハッカーがABテストの結果を素早く正しく判断するための6箇条
もう悩まない！ Web担当者／グロースハッカーがABテストの結果を素早く正しく判断するための6箇条：ABテストによるUX改善のコツ大解剖（2） ABテストを利用したサイト改善の限界にぶつかっている人たちに向けて、リクルートグループ内で実践している改善ノウハウをお伝えする連載。今回は、ABテストをWebサービスの改善サイクルの中で取り入れていく際によくある課題と、その解決策をお伝えする。 連載目次 ABテストを利用したサイト改善の限界にぶつかっている人たちに向けて、リクルートグループ内で実践している改善ノウハウをお伝えする本連載。前回の「リクルートの有名サイト事例に見る、シナリオベースABテストの基本的な考え方と改善プロセス、チーム体制」では、筆者たちが取り組んでいる「シナリオベースABテスト」を紹介した。問い合わせ機能の文言やボタンの色といった単一の要素についてデザインやUIを変えてテスト
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
A/BテストでCV率125%アップを実現した2つの施策とは | 【レポート】デジタルマーケターズサミット2020 Summer
A/Bテストを成功させるための“最新”ヒートマップ活用方法 | 【レポート】Web担当者Forumミーティング 2016 Autumn
Google無双！Analytics連携型A/Bテストツール『Google Optimize (beta)』無償版開放へ | Ledge.ai
