株式会社リクルート エンジニアコース新人研修の内容を公開します！（2021年度版） | Recruit Tech Blog
こんにちは！ Webフロントエンドエンジニアの眞野 隼輔です。 毎年大きな反響を頂いている、エンジニアコースの新人研修の内容を紹介させていただきます。 研修の概要 リクルートでは、エンジニアコースでスペシャリスト採用された新卒のエンジニアを対象に、現場で培われた「本当に必要な生きた知識・技術」を取り入れた新人研修を開催しています。 前半は研修では各分野に長けた社員による講義形式の技術研修を行い、後半は仮配属という形でそれぞれ別の部署に配属されて実際の業務を経験するOJTとなっています。 この技術研修はそのほとんどが内製されており、ベテラン社員による経験を元にした講義を通して生きた知識・技術を獲得できます。また、実際に手を動かす演習型の講義ではベテラン社員からのレビューやフィードバックを得られるため、知識の定着や更なる成長へと繋がります。 本年度の技術研修も、昨年度に引き続きフルリモートでの
メルカリで値段の「¥マーク」を小さくしたら購入率が伸びた理由、ペイディがサービス名を「カタカナ表記」にする理由など、プロダクトのマーケ施策まとめ30(2023)｜アプリマーケティング研究所
メルカリで値段の「¥マーク」を小さくしたら購入率が伸びた理由、ペイディがサービス名を「カタカナ表記」にする理由など、プロダクトのマーケ施策まとめ30(2023) 2023年に取材した記事から、長く参考になりそうな施策をまとめました。※ 数値等はあくまで取材当時のものです。 1、商品ページの「¥マーク」を小さくしたら購入率アップ（メルカリ）メルカリでは、商品詳細ページの「値段の¥マーク」を小さくしたところ、購入率が大きく上昇した。 理由としては、¥マークを小さくしたほうが、心理的な「価格の圧迫感」が減って、心理的にすこし安く感じるためと考えられている。例えば、¥マークが大きいと桁数が多く感じたり、価格を高めに感じやすい。 この案があがったときには、社内でも懐疑的だったそうだが、テストすると小さな開発コストで大きなリターンを得られる施策になった。 元記事：https://markelabo.c
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン
時の流れとともにテクノロジーは進歩し続けるため、何事も便利になっていくものだと考えてしまいますが、インターネット上のウェブサイトは時代と逆行して不便になり続けているという意見が存在します。「How I Experience Web Today」は現代のインターネットのあり方を自ら体現することによって、「いかに不便になったか」を実感できるウェブサイトです。 how-i-experience-web-today.com/ https://how-i-experience-web-today.com/ 「How I Experience Web Today」にアクセスすると、「I searched something(何か検索したところ)」というGoogle検索風の画面が表示されます。続くページを表示するには、「Then it shows me something(何か見せてくれるページ)」をク
「北欧、暮らしの道具店」のメルマガをABテストで改善した話｜Kurashicom Tech Blog
こんにちは。デザイナーの白木です。 前回はクラシコムのUXリサーチについてお話しましたが、今回は「北欧、暮らしの道具店」のメルマガをABテストの手法を使って改善した話をしたいと思います。 「北欧、暮らしの道具店」通常のメルマガは商品紹介がメインですが、それとは別に当店のアプリを紹介するメルマガも配信しています。 これまではメルマガ登録者全員に配信していたのですが、その中にはアプリをすでにご利用いただいている方も多くいらっしゃるため、アプリのダウンロードには繋がりにくいという課題がありました。 そこでアプリ紹介メルマガを配信する対象をメルマガの新規登録者に絞ることにしました。新規登録者は当店を知って間もない方が多いと思われるため、アプリについて知ってもらえる良い機会になると考えたからです。 内容も見直し、いくつかのパターンを配信して効果を検証してみました。 ※本来同じ期間に複数のパターンをテ
リリース手法多すぎﾜﾛﾀｧ B/G、カナリア、機能フラグ、ダークローンチ、A/Bテスト、、など - Qiita
この記事でCloudWatch Evidentlyについて調べていると、「機能フラグ」や「A/Bテスト」などインフラエンジニアには若干聞き慣れないリリース用語が出てきました。 アジャイル開発やCI/CDの台頭に伴い多数出現したこれらのリリース戦略用語をまとめて整理してみることにします。 インフラエンジニアやSREと呼ばれるロールの方々も、リリース戦略を知っておくとCI/CD環境の構築やIaC、はたまたミドルウェアのバージョンアップなどで役立つと思います。 以下ウェブサイトを参考に、各用語を「デプロイ戦略」と「テスト戦略」の大きく2つに分けて紹介します。 デプロイ戦略 従来型のデプロイ（インプレースデプロイ） システム本番環境が一種類のみ存在し、新バージョンの資材デプロイによって旧バージョンの資材を上書いてしまうパターンです。 環境の設計や管理、維持コストをシンプルに抑えられるメリットがあり
2021-08-13 内容システム提供において、基本的に高速であればあるほど顧客は嬉しいものだが、実際のところ高速なシステムを提供して、どの程度の価値が発生するのかが気になったので、調べてみた。 2021/08/14 追記A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは の書籍で同様な事例が紹介されているとのこと。情報提供ありがとうございます。実務でA/Bテストに向き合った人間であれば必ず一度は考えたことのあるトピックについて、アメリカのテックカンパニー（Airbnb, Google, LinkedInなど）勤務の著者らが国際会議で発表された研究もちゃんと引用して見解を述べており説得力がある。 従って、現時点における最高レベルの意思決定をデータ（A/Bテスト）に基づいて行いたいと思うなら、一度は目を通しておくべきであり関係者必携だと思う。 ※個人的には”Webサービスのレ
2021/7/28, Retty ✕ Mercari Analyst Talk Night! https://mercari.connpass.com/event/218848/
#yamagoya2020 で 2020/11/25 に登壇させていただいたセッションの資料です。
こんにちは。技術部平山です。 今回は、ゲームにおけるA/Bテスト について論じます。 「論じます」で始めたことで察しがつくかとも思いますが、今回はブログではありません。 媒体はブログですが、ブログの容量ではない代物になっております。3.5万字(115KB)超えです。 ゲームにおけるA/Bテストについて、実施の方法や問題点、 倫理的側面に至るまで幅広く書き連ねてみました。 読んで欲しいのはどちらかと言えば同僚なのですが、 そういう時にはまず社外に出してしまった方が良いものですので、 ブログにしてしまいます。 比較的同業の方が読むことを想定しているため、 図表を用いてわかりやすくすることはしておりません。 これを書いた人間は何者か 技術的な問題の前に ゲームにおいても構図は全く同じ A/Bテストが可能である条件 A/Bテストの手続きを概観する 振り分け アプリ内振り分けの場合 Firebase
こんにちは、事業開発部でプロジェクトマネージャー兼エンジニアをやっている新井(@SpicyCoffee)です。10 万円の申請書を書く前に 20 万円のパソコンを買いました。 クックパッドでは、毎日の料理を楽しみにするべく日々サービス開発がおこなわれています。本稿では、サービス開発の中でも重要かつ難解な「KPI の設定」について、私がプロジェクトマネージャーとして普段考えていることや注意している点を紹介します。 KPI を決めるのは難しい サービス開発において KPI を設定し、それを改善するような施策や検証を繰り返していくことは基本中の基本です。しかしながら、現実には「KPI を設定する」という行為自体の難易度が非常に高く、日夜頭を悩ませている開発者のみなさんも多いのではないでしょうか。 以下では、その要因の一つである「KPI は複数の要件を満たす必要がある」ことについて考えます。 満た
2021年度・2022年度 リクルート エンジニアコース新人研修の講義資料です
はじめに 研究開発チームの関です。古川未鈴さんの結婚、ニジマス大門果琳さんの卒業、uijinの解散とアイドル業界も激動の秋を迎えていますね。 2019年8月4日から5日間、アメリカはアラスカ州アンカレッジで開催されたデータマイニング領域のトップカンファレンスであるKDD2019にGunosyから北田と関が参加・発表してきました。 これまでに2つのレポートを公開しています。 data.gunosy.io data.gunosy.io 本レポートではTutorialとして開催された「Challenges, Best Practices and Pitfalls in Evaluating Results of Online Controlled Experiments」の内容をレポートします。 内容は現在のA/Bテストのガイドラインと言ってもいい内容で、非常に参考になるポイントが多かったです。
はじめに こんにちは。動画配信事業部 EC-Growthチームの宮園です。 DMMの動画配信サービスをGrowth（成長）させるためのEC-Growthチームでは、アナリストと共に売上向上に繋がる施策を打ったり、ユーザのエンゲージメントを高める施策に日々取り組んだりしています。 今回は、私たちのチームが取り組んできたことのなかで近年一番役立ったA/Bテストという手法に焦点を当ててお話ししたいと思います。 A/Bテストをご存知ない方、聞いたことはあるけどどのように進めれば良いのかわからず導入を躊躇している方に、私たちの体験談が参考になれば幸いです。 私たちがどうしてA/Bテストに取り組むことになったのか ツール選びはどうしたのか 実際にやってみてどうだったのか 目次 はじめに 目次 A/Bテストとは A/Bテストとは、Webマーケティングにおける施策判断の手法の１つ ツールの紹介 用いたツー
マーケターが「よくやっているけど意味のない業務」と「成果を出すためにやるべきこと」って？WACUL垣内氏インタビュー | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
マーケターがよくやっているけど意味のない業務 まこりーぬ：垣内さんはよく取材記事やTwitterにて「○○（マーケティング施策）には意味がない！」とズバリ断言されていらっしゃいますが、本日はあらためて、意味ない度合いの高い施策から順に教えていただけないでしょうか……！ 垣内：成果には影響がないし、やっていてつまらない施策には意味がないですよね。しいて序列をつけるとすれば、よく実施されがちな「ABテスト」「アトリビューション」あたりが最悪で、時間はかかるし一番やってはいけないです。 まこりーぬ：（出ました垣内節……！）しょ、詳細を聞かせてください……！ 代表例1：ABテスト まこりーぬ：ABテストについては前回の取材でもお話しいただきましたね。「細かなABテストで成果が劇的に変わることはない」という言葉は当時とても印象に残りました……。 垣内：ヒートマップを一度でも使ったことがあれば、ページ
こんにちは！去年の10月からAppBrewでUIUXデザイナーをしている 西山(@Fav_KudasaiTT) です。普段は事業の数値を改善させるため、LIPS WEBのデザイン改善したりコード書いたりディレクションしたりしています。 事業の数値を改善させると言っても、取り組むべき課題を見つけその課題に対して精度の高い仮説を立てて検証を回すというフローがありますよね。 今回は検証を回すという部分に絞り、LIPS WEBでABテストを回して直帰率を中心にユーザー行動を大幅に改善した話をさせていただきます。 デザイナー1人でABテストできるツール 運用例 1. 検証する仮説を決める 2. パターンとターゲットを設定する 3. 評価指標を設定する 4. リリースして結果を見る 5. 結果が良かったものを反映する 6. 1~5を繰り返す まとめ We Are Hiring デザイナー1人でABテス
サーバーサイドエンジニアの熊木（@k_kumaki_）です。 先日、私が担当しているヤクメドにA/BテストツールとしてAWSのサービスであるCloudWatch Evidentlyを導入したので、その経緯や内容についてまとめます。 目次 目次 CloudWatch Evidentlyとは 導入に至った経緯 導入理由 導入方法 1. プロジェクトの作成 2. 機能の追加 3. アプリ側の対応 よかった点 自分で細かな定義が可能 導入が簡単 終わりに CloudWatch Evidentlyとは AWS上でA/Bテストやフィーチャーフラグの管理ができるサービスです。 比較的新しいサービスのため、馴染みのない方も多いかもしれません。 aws.amazon.com 導入に至った経緯 私が開発しているサービスであるヤクメドでは、UX向上のためA/Bテストを実施しています。 そのA/Bテストツールとし
画像や文章のパターンを複数用意し、それをウェブサイト上で入れ替えて表示させてユーザーの反応を見る「A/Bテスト」は、ユーザビリティやコンバージョンを向上させる方法として利用されます。GIGAZINEでは常時複数のA/Bテストを行っており、「どのような見せ方、やり方の効果が高いのか？」という調査を行っているので、その中でわかったことをまとめました。 ・GIGAZINEの露出枠 GIGAZINEには記事広告・バナー広告・自社広告などを表示させる「露出枠」がトップページや各記事ページに配置されていますが、この露出枠は記事をスクロールすることによってユーザーに対して表示されるので、「記事をしっかり読んでもらうこと」が露出アップにつながります。そのためにはもちろん、記事自体のクオリティが非常に重要であり、通常記事でも記事広告でも、「質の高さ」を重視しています。 そしてもう1つ、「記事をしっかり読んで
こんにちは、Gunosy Tech LabのMLチームでマネージャーをしている id:skozawa です。 今日はMLチームで取り組んでいるABテストの設計と運用について紹介したいと思います。 MLチームはプロダクト横断のチームです。メンバーはグノシー、ニュースパス、LUCRAなどのプロダクトチームにも属しながら、開発を進めています。 ABテストについては以前も少し書いたことがあり、基本方針は同じなのですが、横断チーム、ロジック開発だからこそある難しさもあり、そのあたりで少し工夫していることなどを書きたいと思います。 tech.gunosy.io ABテストの設計について ABテスト開始のために、タスク、KPI、拡大判断基準の設計をするようにしています。 タスク設計 仮説を立て、タスクのゴールを設定します。 ここでは、controlとtreatmentの差分を明確にすることと、contr
「AbemaTV」のデザインは「A/Bテスト」にどう向き合うか？ | CyberAgent Developers Blog
目次 ・はじめに～なぜ「A/Bテスト」を導入したのか～ ・「AbemaTV」におけるA/Bテストの具体例 ・A/Bテストによる恩恵、そして課題 ・どう向き合っていくか？ ・最後に はじめに～なぜ「A/Bテスト」を導入したのか～ 「AbemaTV」では、日々プロダクトの様々なグロースを行なっています。 その検証手段として導入している「A/Bテスト」に対して、デザインがどう向き合うか？を記していきます。 なお、本記事は「A/Bテストの正しい方法論」や「統計や分析に対する論点」ではなく、「デザインがどう向き合っていくか？」という考え方の部分を書いていきます。 「AbemaTV」は2016年4月にリリースし、直後から新機能追加やグロース施策を実施してきました。 デザインが関わるグロースの軸は、2019年時点で主要なKPI毎に5つのプロジェクトがあり、それぞれにUIデザイナーが1~2名ずつ所属してい
はじめに プロダクトチームの克海です。PdMの補佐をしながらプロダクトのデータアナリストをしています。 本記事ではアプリでのABを始めようといしている方に向けてのABテストの実施の流れと事例についてまとめた記事になります。 ABテストとは？ ABテストとはランダム化比較試験ともいれる実験手法です。検証対象をランダムにグループ化して別々の介入をすることで「介入の効果」を図る手法の一つです。 メールマーケティングや広告、ウェブページの改善などのデジタルマーケティングや医学現場でも使われている手法で、多くの実験では変更を加えない「コントロールグループ」と、変更を加える「テストグループ」を作り、実験を行います。実験を開始して2つのグループの違いを検証します。2つのグループに対して介入以外同一条件な状態を作ることで、バイアスがない状態で比較することができます。 実験を繰り返すことで、ユーザーが求めて
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。
ABテストにおける分散削減手法①〜少ないサンプルから小さな改善効果を検出する〜｜あならいずパンダ
マネーフォワード 分析推進部の石田と申します。 社内では、データサイエンティストとして施策効果検証系の案件を中心に担当しています。 本稿から2回に渡って、「ABテストにおける分散削減手法」というテーマで記事を執筆したいと思います。 馴染みのない方もいらっしゃるかもしれませんが、ABテストへ分散削減手法を適用することで、例えば以下に挙げたメリットを享受することができます。 必要サンプルサイズを低減できるため、意思決定サイクルを高速化できる より小さな改善効果を検出できる 魅力的だと感じていただけた方は、ぜひ最後まで本稿をお読みください！ 目次 想定する読者層と書いてある内容本稿のメインターゲットは、以下のような方です。 統計的仮説検定の理論を少し勉強したことがあるけど、分散削減と言われてもあまりピンと来ていない 確率変数、標本平均、分散、正規分布の意味は分かるけど、t検定の検定統計量がパッと
Google Optimize を使った Cacheable な A/B Testing 設計 - wadackel.me
はじめに少し前に業務で実装した A/B Testing の実装について、チームメンバー用にドキュメントを書いたのですが、Optimize の導入を考えている社内外の開発者の参考になればと思ったため雑にブログにまとめます。 僕が業務で携わっている WinTicket というサービスでは CDN に Fastly を使用しており、その環境下でキャッシュ可能な Google Optimize (以降 Optimize) を使った A/B Testing の仕組みと、この仕組を採用することによって発生する制約について記載します。 この記事で記載する内容は Optimize のガイドで紹介されている Server-side Experiments の内容とほとんど同じです。まずはガイドを読んで外観を掴んでいただけると良いかと思います。 また Optimize 自体の概要については公式ドキュメントや紹
この記事はエムスリー Advent Calendar 2021 1日目の記事です。 明日からも面白い記事が続々投稿されるので、ぜひ購読・拡散お願いします！ qiita.com エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。好きな言語はGo。情報検索系の話が好物です。 最近検索エンジンの改善やアルゴリズムの変更などの効果を分析する機会が多くなってきたのですが、ABテストの効果検証でやらかしてしまい、改めてABテストについて復習しています。そこで「A/Bテスト実践ガイド」という本を読みました。 A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは (アスキードワンゴ) 作者:Ron Kohavi,Diane Tang,Ya Xu,大杉 直也ドワンゴAmazon この本で、私が陥った大量にクリックするユーザー
Leaks | GoodUI
Etsy ran a little A/B test where they probably tried to encourage more searches with the help of a stronger visual cue in their search bar. Instead of using a ghost-like icon only approach for the primary search, they stylized it as a high contrast button. Fast forward a few months and it now looks like the variation was implemented. View Leak
Optimize Next
無料で使えるABテストツール
Webマーケティングに取り組んでいると、「もしかしたら問い合わせボタンの色を変えたほうが、クリックをするユーザーが増えるのでは？」などと日々仮説を立てるものです。しかし、その仮説が正しいのか検証するとしても、ページを変更してしまうと、変更前と変更後の比較を同じ期間に行えません。同条件で正しい比較をするにはABテストを実施する必要があります。 複数パターンのページを一定期間運用し、成果があったパターンを採用できるABテストは、仮説の検証にぴったりのテストです。簡単に実行できるツールが開発されるようになり、ABテストはマーケターにとって身近なテスト手法になりました。運用効率の良さなど多数のメリットから世界的に利用されているCMSであるWordPressにおいても、プラグインという形でABテストツールが存在しています。 今回は、ABテストができるWordPressのプラグインをまとめました。Wo
ごきげんよう！ TRILL開発部のWebを担当しています、maseoです。 この記事は「dely #2 Advent Calendar 2020」19日目の記事です。 dely #1 Advent Calendar 2020 - Adventar adventar.org dely #2 Advent Calendar 2020 - Adventar adventar.org 昨日は HPdM（ハイパー プロダクト マネージャー）のRiceさんの記事「初心者PdMに贈る「"伝書鳩"が意思を持つために意識すべきこと」でした。 エンジニアはHPdMさんに本当に助けてもらってます。 こんなに色々考えてくださっているのは本当にありがたいです。いつもありがとうHPdMさん達！ さて 今回はTRILLのWebで行っているGoogle Optimize*1を使ったA/Bテストはこんな感じ！というお話を書
https://www.kdd.org/kdd2016/subtopic/view/improving-the-sensitivity-of-online-controlled-experiments-case-studies-at-
私たちはABテスト（スプリットテスト）について、UXを改善してコンバージョンを増やす手段だと考えています。しかし実は、UXテストによってABテストも改善されるのです。 ABテストの設計は、当てずっぽうや直感ではなく、UXテストに基づかなくてはいけません。 それにより多くのコストと時間を節約でき、テストがより効率的になるのです。 ABテストとは？ ABテストに馴染みがない人のために、とても基本的な解説をしましょう。ABテストでは、あなたのサイトの特定の要素に関する２つのバージョンを用意します。CTAボタンの色、セクションのレイアウト、コピー案、メニューの順番など、何でも構いません。サイト訪問者の中からランダムに選ばれた半分にはひとつのバージョンを、あとの半分にはもう片方のバージョンを見せます。 ２週間ほどこのテストを実施したのち、結果を比較します。２つのコンバージョンに大きな違いがあった場合
Flagsmith - Open Source Feature Flag & Remote Config Service
Feature Flag & Remote Config ServiceRelease features with confidence; manage feature flags across web, mobile, and server side applications. Use our hosted API, deploy to your own private cloud, or run on-premises 1import flagsmith from 'flagsmith'; 2 3flagsmith.init({ 4 environmentID: 'QjgYur4LQTwe5HpvbvhpzK', 5}); 6 7const App = () => ( 8 <Layout 9 darkMode={flagsmith.hasFeature("dark_mode")} 10
はじめに こんにちは。株式会社エブリーでデータサイエンティストをしている伊藤です。 『DELISH KITCHEN』では、サービスをより良くするため、新機能の開発や既存機能・デザインの改善など様々な施策が行われています。 これらの施策は、一部のユーザのみを対象とする「A/Bテスト」によってオンライン評価され、その効果が認められてからユーザ全体にリリースされます。 直近、A/Bテストの信頼性・アジリティをより高めるため、データチームが主導となり新しくA/Bテスト基盤を構築・導入しました。 本記事では、新しく導入したA/Bテスト基盤の概観を紹介させていただきます。 今回紹介するA/Bテスト基盤の活用については、少し前の記事でも紹介していただいているので、そちらも是非合わせてご覧ください。 tech.every.tv これまでの課題 これまで、A/Bテストは各運営チームが主導となって実施されてき
無料のA/BテストツールGoogle Optimizeのここがすごくすごい！ | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
こんにちは、Webディレクターのともぞうです。今回は久々にWebディレクターっぽくツールの話です。 サイトを運用するうえで極力おこなっていきたい、A/Bテスト。みなさんはどんなツールを使っていますか？ 私はGoogle Optimize（グーグル・オプティマイズ）を使っています。 今回Google Optimizeのここにすごく感動した！ というところをまとめます。 Google Optimizeとは ウェブサイト、A/B テスト、パーソナライズのソリューション – Google オプティマイズ まずはじめに、Google Optimizeの概要をお伝えしましょう。 Googleが提供しているサービスで、A/Bテストを無料で簡単に実施できるものです。タグを埋め込むだけで改修をおこなえ、指定の確率でオリジナルと出し分けすることができます。 さらに要素の位置をドラッグ&ドロップで移動できたり、
[新機能] フィーチャーフラグやA/Bテストを支援! Amazon CloudWatch Evidentlyがリリースされたので試してみた #reinvent | DevelopersIO
CX事業本部、MAD事業部の小倉@大阪オフィスです。 本日、Amazon CloudWatch Evidentlyなる機能がリリースされました。 フィーチャーフラグの管理やA/Bテストの実行を支援する機能になっています。東京リージョンも対応しています。 やってみた 今回はCognitoを使ってログイン処理を行ったユーザに対して、フィーチャーフラグコントロールをやってみることにしました。 Evidently Projectの作成 サイドメニューから「Evidently」を選択し、以下の画面から「Create project」ボタンを押してProjectを作成します。 Project名と説明を入力しました。 「Evalution event storage」の設定を行うと、イベントをS3又はCloudWatch Logsに保存できるようです。私はS3を選択し、バケットの指定を行いました。 Pr
![[新機能] フィーチャーフラグやA/Bテストを支援! Amazon CloudWatch Evidentlyがリリースされたので試してみた #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/191a1fafa598700b0f2f44f293c6c2958c659b90/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F11%2Feyecatch_reinvent2021_breakingnews.jpg)
Optimizing sample sizes in A/B testing, Part I: General summary · Chris Said
A special thanks to John McDonnell, who came up with the idea for this post. Thanks also to Marika Inhoff and Nelson Ray for comments on an earlier draft. If you’re a data scientist, you’ve surely encountered the question, “How big should this A/B test be?” The standard answer is to do a power analysis, typically aiming for 80% power at \(\alpha\)=5%. But if you think about it, this advice is pret
こんにちは。売れるネット広告社 代表取締役社長 CEOの加藤公一レオです。 売れるネット広告社では、これまで膨大な広告費をお預かりして、1200回以上の「A/Bテスト」を繰り返してきた。D2C（ネット通販）の広告に関するA/Bテストの実績なら、どこにも負けない自信がある！ 複数の企業でA/Bテストを実施して、「Aが強い」という結果が出た場合、100社でやっても1000社でやっても同じ結果になるという特性がある。つまり、A/Bテストの結果とは、さまざまなD2C（ネット通販）企業に、横展開が可能な事実ベースのノウハウなのである。 したがって、広告の費用対効果（ROAS）を最大化するには、「答え」を知っている企業から“カンニング”させてもらうのが手っ取り早い。そこで、前編・後編の2回に分けて、売れるネット広告社が10年以上にわたって蓄積してきた 「最強の売れるノウハウ（商標登録済み）」をカンニン
IshizuRyo 株式会社デジタルアイデンティティに2018年入社しました。 入社1年目の石津 諒です 好きなことはカメラ、食べることです よろしくお願いします！ 皆さんは「ABテスト」という単語をご存知ですか？あるいは、使ったことはありますか？ 広告配信者やサイト運営者なら一度は耳にしたことがあるのではないでしょうか。 ここでは、「ABテスト」の意味を知らないという方や、単語は聞いたことがあるけれど実際に何をするか分からない、おおむね知っているけれどより詳しく知りたい…という方に向けて、ABテストの概要や方法について解説していきます。 そもそもABテストってなに？ ABテストは、WEBマーケティングにおける手法の一つです。 WEBサイトや広告のバナー等の画像をAパターンとBパターンの2パターンを用意して 「どちらがより良い成果を出せるのか」ということを検証するものです。 場合によっては
Feature Flagを利用したリリース戦略
アジャイルプラクティス 小さく、高頻度にリリースする 素早く価値を届けられる フィードバックを速く得られる
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ABテストが難しい場合の施策効果の評価・推定方法
無駄満載な現代のインターネットを最高に皮肉ったウェブサイト「How I Experience Web Today」
システムの応答速度は本質的な価値提供であることを示す A/B テストの実例
メルカリにおけるA/Bテスト標準化への取り組み
FastlyとTypeScriptで実現するカナリアリリース / yamagoya2020
ゲームにおけるA/Bテストについて - KAYAC engineers' blog
KPI 設定の難しさについての思索とそれに付随した細かな考察 - クックパッド開発者ブログ
A/Bテスト概論 / Introduction of ABTesting
A/Bテストのベストプラクティスと落とし穴 ~KDD2019 レポート~ - Gunosyデータ分析ブログ
DMM動画サービスでA/Bテストを1年間運用してわかったこと - DMM inside
デザイナーが1人でABテストを回してWEBの直帰率を10%以上改善した話 - AppBrew Tech Blog
今求められるSEOとは？ 検索ユーザーの評価を高めるA/Bテストのススメ | MozCon2019レポート | Mozcon
A/BテストツールとしてCloudWatch Evidentlyを導入してみた - メドピア開発者ブログ
ウェブデザインやクリック率を改善するためにGIGAZINEでやっているA/Bテストとは？
Gunosy MLチームでのABテストの設計と運用 - Gunosyデータ分析ブログ
ABテストとは？タイミーでのABテスト事例紹介 - Timee Product Team Blog
ヤフーの広告配信で機械学習の改善サイクルを高速化した話 〜 TensorFlow Serving導入
検索エンジンのABテストで発生するユーザー内相関を突破する - エムスリーテックブログ
WordPressで簡単にABテストができるプラグインまとめ
Google Optimizeでテストをしてる話 - TRILL Tech Blog
A/BテストにおけるVariance reduction
UXテストを用いてABテストの結果を向上する方法
『DELISH KITCHEN』のA/Bテスト基盤を構築しました - every Tech Blog
1200回以上のA/BテストからわかったD2C（ネット通販）の「答え」を大公開
一度は聞いたことがある「ABテスト」とは？概要と実施方法まとめ | デジタルマーケティングブログ
nordot.app
mezamashi.media
shueisha.online
resemom.jp
iphone-mania.jp
www.city.shima.mie.jp