A/Bテストよりすごい？はじめてのインターリービング - Gunosyデータ分析ブログ

はじめに こんにちは。メディアデータ分析部の飯塚(@zr_4)です。 弊社では現在、複数のニュース形式のアプリケーションを運用しており、各プロダクトでユーザーの趣向にあうような記事リストのパーソナライズを行っています。 左から：LUCRA、ニュースパス、グノシー そのため、記事のランキングに関するA/Bテストをする機会が多々あり「少数のユーザーで高速に有力なパラメータを探したい」というニーズがありました。 今回は上記ニーズを満たすべく、グノシーの本番環境に導入したインターリービングを紹介します。 インターリービングとは 概要 インターリービングは高感度なランキング評価手法です。 実験的に、10倍から100倍従来のA/Bテストよりも効率的であることが知られています。*1 従来のA/Bテストにおいて、2つのランキングリストを評価する際は、ユーザを2つの群に分け各々に別々のランキングリストを提示

[synbizmix]

（本題と関係ないけど、この分析でユーザーが望んでると思われるコンテツがあれらかと思うと、真面目なコンテンツがいかに受けないか分かる。）/A/Bテストよりすごい？はじめてのインターリービング - Gunosyデータ

[nankichi]

理論上はそうだけど、実際は違うよ。例を人気投票、Aがセリーグの選手、Bがパリーグの選手とする。Aのみ、BのみでのリストとAB混在のリストでは閲覧者の評価基準が変わるよね。リストは他の候補との相対評価もされるぞ

[raf00]

こういう「大量のデータを元にした高速テスト」ができる環境いいなぁ。

[mooz]

ランキングリストの評価。2つのランキングリストを出し分けるのではなく、混ぜあわせて提示。ユーザ集合をわけなくてよい。

[bonnaroo]

とても良かった！

[ocisznle]

p-valueが収束と言ってしまってるし、効果量について言及していないし、リファレンスのQiitaの元論文はpower analysis の文脈で同じ有意水準と効果量と検定力で必要標本数という話っぽいしA/Bテストをまず理解していない説

[nobohiga]

メモ

[mami-hate]

よさげ。グノシーいいね

[sawyer]

「複数のニュース記事セット」のように「線形に足し合わせることができるUX」の場合に限定して成立する手法。同じ機能で異なる文言のボタンのどれを選ぶか、という並存を許さないUXでは使えない、のかな。

[aroechan]

今後のBtoCのWebアプリ開発でのグロースハックはこれが主流になるのかもしれないな

[peketamin]

すごい！(すごそう)

[braitom]

へー。“インタリービングでは、2つのランキングリストを混ぜることで新たなランキングを作成し、同一のユーザー群にそのランキングを提示し性能を評価します”

[showii]

どれだけ儲かったのか知りたいデス

[njgj]

あとで

[zou3dazou]

"インタリービングでは、2つのランキングリストを混ぜることで新たなランキングを作成し、同一のユーザー群にそのランキングを提示し性能を評価"

[otihateten3510]

いい。こういうのもっと知りたい。GAっぽい？／ABって機械学習使ったものないのかな、強化学習ならできそう（作るだけなら）

[osca5006]

A/Bテストよりすごい？はじめてのインターリービング - Gunosyデータ分析ブログ

[NOV1975]

なんかなー。そもそもこれで導き出した結果が本当に合目的的なのか、長期的に計測できるんだろうか。

[hirorock]

計測とレコメンドの手法 ABテスト インターリービング

[iekusup]

ほー。

[fotus4]

キュレーションやニュースアプリの類、こういったテストをたまに噛まされてるからか、ランキングやらあなたへのオススメが全く興味ないものばかり表示されるようになって飽きて止めた。

[ck0705]

あとで読む

[y-abe-hep]

なんかすごいらしい

[yoiIT]

これすごい

[hitodie]

ひさびさに賢くなれた

[satosssi]

ドラフト会議は男のロマンだからな

[azihsoyn]

データ分析チームすごい

[s-wool]

すごい

[beatinaniwa]

勉強になる

[dr_paradi]

A／Bテストよりずっとはやい！