2021-08-13 内容システム提供において、基本的に高速であればあるほど顧客は嬉しいものだが、実際のところ高速なシステムを提供して、どの程度の価値が発生するのかが気になったので、調べてみた。 2021/08/14 追記A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは の書籍で同様な事例が紹介されているとのこと。情報提供ありがとうございます。実務でA/Bテストに向き合った人間であれば必ず一度は考えたことのあるトピックについて、アメリカのテックカンパニー（Airbnb, Google, LinkedInなど）勤務の著者らが国際会議で発表された研究もちゃんと引用して見解を述べており説得力がある。 従って、現時点における最高レベルの意思決定をデータ（A/Bテスト）に基づいて行いたいと思うなら、一度は目を通しておくべきであり関係者必携だと思う。 ※個人的には”Webサービスのレ
｜DMM inside
はじめに こんにちは。検索基盤部の岩崎です。検索基盤部ではZOZOTOWNの検索機能の改善に日々取り組んでいます。ZOZOTOWNのおすすめ順検索のプロジェクトでは、機械学習モデルを活用した検索結果の並び順の改善に取り組んでおり、全ての施策はA/Bテストで検証しています。なお、最近の並び順精度改善の取り組みについては以下の記事をご参照ください。 techblog.zozo.com 本記事におけるA/Bテストとは、特定期間中ランダムに振り分けたユーザーに対してそれぞれ別の施策を提示し、その成果の差を検定するテストのことを指します。A/Bテストは施策の効果を検証するための優れた手段として広く知られており、おすすめ順検索改善のリリース判断には欠かせない存在となっています。ZOZOではA/Bテスト基盤の整備を進めており、おすすめ順検索以外にもさまざまな施策でA/Bテスト基盤を用いた運用がされていま
はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techblog.zozo.com 私たちは、機械学習モデルの開発からデプロイまでの一連の処理を実行するワークフローの構築にGoogle Cloud Platform（GCP）のVertex AI Pipelinesを利用しています。 本記事では、Vertex AI Pipelines採用前の運用とその課題点について説明し、次にVertex AI Pipelinesで構築し
CDN 環境下の Web サービスでどうやって AB テストするか？ 対象の CDN は Edge でいろいろできるモダンなやつ CDN 環境下での AB テスト オリジンサーバーで AB テストによる表示パターン切り替え処理があるとする。この場合、レスポンスの HTML をキャッシュ対象にしていると、表示パターンのうちの 1 つが CDN Edge にキャッシュされてしまう。つまり、表示パターンはキャッシュ期限が切れるまで、固定化されてしまうので、AB テストは不可能ということになります。 しかし、CDN 環境下でも AB テストによる表示パターンの切り替えは実現可能です。以下で、CSR （クライアントサイドレンダリング） を使う方法と、SSR （サーバーサイドレンダリング） を使う方法について説明します。 CSR による AB テスト パターンごとにレスポンス HTML を切り替えるの
こんにちは。 旅好きアラサー女子の世界一周ブログを運営しているziziです。 ブログを始めてアドセンスに合格したものの、思ったように稼げなくて絶望を感じていませんか？ はい、私が長らくそうでした（笑） もうアドセンスは無理かも、、と諦めかけたとき、あることを実行したら収益が2倍になりました。 おはよございます！ 朝から泣いてます😭 ブログ始めて丸2年。 なにかと振り回されてるアドセンスで、初めて5桁いきました。。 今日はイヤなことあっても笑顔で乗り切る自信あります🥰 pic.twitter.com/Jh9sArDTQJ— zizi@旅人主婦ブロガー (@zizi36015838) 2021年5月30日 それまでは夏目さん5枚程だった収益が、あることをした月に初めて5桁達成したんです。 その方法とは、アドセンスのA/Bテストです。 聞きなれない方もいるかもしれませんが、やり方はとっても
ABテスト
2023年度リクルート エンジニアコース新人研修の講義資料です
Googleアナリティクスでは見えない、メディア記事のユーザー行動分析｜MarTechLab（マーテックラボ）
先日公開した「【CPA全公開】2,000万円BtoBのFacebook広告に投資してわかったこと」ですが、Googleアナリティクスを見ると、 ・約4,000PV ・平均ページ滞在時間6分21秒 ・約3割がTwitter流入 という結果でした。 では、 「この記事は“本当に”読まれているのでしょうか？」 この点に関しては、Googleアナリティクスでは判断しきれません。 そこで、サイト内のユーザー行動分析ツールClicktale（現：Contentsquare）を活用して、 ・そもそも何％が最後まで読でいるのか（読了率） ・狙ったコンテンツが着目されているのか を分析しました。 目次 1.記事作成時の仮説とKPI 2.Googleアナリティクス分析 3.この記事は読まれているのか？ユーザー行動を分析 3-1.リード文は着目されるのか 3-2.本文開始時の離脱率 3-3.読み込まれているコン
はじめに 既存の A/B テスト集計での課題 解決策 A/B テストの ID と統計量が格納された集計テーブルを作成 Confluence 上に A/B テストレポートが作成されるようにした A/B テストレポート作成の流れ まとめ はじめに こんにちは、 Gunosy Tech Lab 所属の m-hamashita です。最近はほぼ毎日モブプロで開発をおこなっており、刺激的で楽しいです。 今回は「A/B テストの管理基盤刷新とレポートの自動化」をおこなった話について紹介します。 基盤編と自動化編の 2 部構成で、本記事では A/B テストのレポート自動化について紹介したいと思います。 A/B テストの管理基盤を刷新した話については @hyamamoto さんが紹介した記事をご覧いただけると幸いです。 tech.gunosy.io 既存の A/B テスト集計での課題 既存の A/B テス
IshizuRyo 株式会社デジタルアイデンティティに2018年入社しました。 入社1年目の石津 諒です 好きなことはカメラ、食べることです よろしくお願いします！ 皆さんは「ABテスト」という単語をご存知ですか？あるいは、使ったことはありますか？ 広告配信者やサイト運営者なら一度は耳にしたことがあるのではないでしょうか。 ここでは、「ABテスト」の意味を知らないという方や、単語は聞いたことがあるけれど実際に何をするか分からない、おおむね知っているけれどより詳しく知りたい…という方に向けて、ABテストの概要や方法について解説していきます。 そもそもABテストってなに？ ABテストは、WEBマーケティングにおける手法の一つです。 WEBサイトや広告のバナー等の画像をAパターンとBパターンの2パターンを用意して 「どちらがより良い成果を出せるのか」ということを検証するものです。 場合によっては
はじめに こんにちは、stand.fm でMLエンジニアをしているcanonrockです。 stand.fmでは各画面に表示するコンテンツのパーソナライズを進めており、先日その一環としてホーム画面に各ユーザーへおすすめの放送を表示する機能を追加しました。本記事ではおすすめ放送表示機能のシステム構成やABテスト結果をご紹介しようと思います。 おすすめ放送表示機能の目的と概要 概要 stand.fmではアプリを開いた時に最初に出る画面をホーム画面と呼んでいます。ホーム画面では画像のようにテーマ別にセクションが並び、セクション内に放送がいくつか表示されます。 ホーム画面に表示されるセクションや各セクションに表示される内容はパーソナライズされておらず、全ユーザーに対して同一の内容が表示される状態でした。しかし、やはりユーザーによって嗜好が異なるので、各ユーザーが好きそうな放送をホーム画面に出したい
はじめに 既存の A/B テスト管理基盤の課題 新規 A/B テスト管理基盤 方針 構成概要 Go 言語による A/B テスト管理基盤の作成 validation 機能の整備 A/B テストの定義コードの自動生成 private package として A/B テストの定義コードを公開 A/B テストの設定の履歴管理 まとめ はじめに こんにちは。Gunosy Tech Lab 所属の hyamamoto です。 今回は広告システムにおいて「A/B テストの管理基盤刷新とレポートの自動化」を行った話についてご紹介します。 基盤編と集計編の 2 部構成で、本記事では A/B テストの管理基盤の刷新についてご紹介したいと思います。 元々、今回のプロジェクトの最終的なモチベーションは A/B テストのレポートの自動化にあり、A/B テストの管理基盤刷新はスコープとしていませんでした。 しかしなが
Google広告でABテストをするときに便利な「下書きとテスト」機能の使い方 | ビジネスとIT活用に役立つ情報（株式会社アーティス）
リスティング広告の費用対効果を高めるうえで、PDCAサイクルを実施して広告やランディングページのクリエイティブを最適化することは必要不可欠なものになります。 PDCAサイクルの過程でよく使われる検証方法がABテストです。今回は、Google広告でABテストをする際に便利な「下書きとテスト」機能を使った実施方法についてご紹介します。 ABテストとは ABテストとは、web広告やwebサイトを最適化するために、仮説に基づく施策を2パターン（もしくは複数パターン）用意して同時並行で比較検証する手法です。 例えば、異なる訴求方法のランディングページを2パターン用意したとします。 ランディングページのゴールが「資料請求」だった場合、2つのランディングページを同時並行で一定期間公開し、どちらのランディングページがコンバージョン率（CVR）が高いかを検証し、効果の高いランディングページを採用します。 こ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
システムの応答速度は本質的な価値提供であることを示す A/B テストの実例
DMM動画サービスでA/Bテストを1年間運用してわかったこと - DMM inside
ZOZOTOWN検索におけるA/Bテスト分析の自動化の取り組み - ZOZO TECH BLOG
Vertex AI Pipelinesによる機械学習ワークフローの自動化 - ZOZO TECH BLOG
モダンな CDN による Edge サイド AB テスト
Googleアドセンスの自動広告テストで収益アップさせる方法 - 旅好きアラサー女子の世界一周ブログ
A/B テストの管理基盤刷新とレポートの自動化（自動化編） - Gunosy Tech Blog
一度は聞いたことがある「ABテスト」とは？概要と実施方法まとめ | デジタルマーケティングブログ
放送レコメンド機能をTensorFlow Recommendersで作り、ABテストしてみた
A/B テストの管理基盤刷新とレポートの自動化（基盤編） - Gunosy Tech Blog