データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

(2019/10/12追記 データ解析のプログラムもGitHubで公開しました) (2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています) はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗

[terencow]

「会員かどうかは、店舗ページのトップに写真があるか」とあるが、無料でも画像は貼れるように見える https://owner.tabelog.com/owner_info/top 「非会員／無料会員／有料会員」で見るべきでは / 追記 https://anond.hatelabo.jp/20191011180237

[megumin1]

おそらく統計学でいう仮説検定をやろうとしたんだけど、p値とか計算できなかったらしく、言葉を濁しまくっている記事ですね。そして「検定」なのに「証明」なんて言葉を不用意に使ってしまうのは罪だと思いますよ。

[NOV1975]

何らかの問題が存在する、という結論に何ら変わりはないのでは？

[shibacow]

きちんと追試が出るのは良いことだ。/こうなってしまっては食べログは統計学者にNDAを結んだ上で、生データと計算ロジックを渡して食べログと同じ結果になるか再計算させたら良いのにと思う。

[nankichi]

sourceが公開されているのは素晴らしい：仮説が違う。まずこの分布で検証するべきは「3.6と3.8に大きな断絶があること」また会員非会員での分析も疑惑と違う。会員VS会員を断った非会員だよね。調べるべきは時系列データ

[Fushihara]

githubのソースが404になってる。消したのか、消されたのか知りたい

[hisawooo]

terencow様のご指摘の通り無料会員でも画像登録できますねhttp://pcu.jp/tabelog-pr/

[a2c-ceres]

何か操作が行われている事は見えるが会員・非会員とは別の要因か。高いスコアのプレミアム性を維持する操作なのかなぁ。そしてそれを代理店が悪用してると。

[tsugitta]

元のブログ、言葉を丁寧に選んでいたと思うし「証明した」とも言っていないと思うけどな〜

[havanap]

追試えらい・・・

[geopolitics]

一回の食事代で評価が変わることはあるかなと思った。映画は一律料金なので基準ができている。

[tetsu23]

書いてある通り「評価点3.25辺りで非会員割合が増大して」「評価点4.0以降では非会員の割合が減少して」いるのが事実でしょ。雰囲気で言うんじゃなくて、数値があるなら優位な差があるかどうかの統計処理しようよ。

[ookitasaburou]

“あらかじめ言っておきますが、本記事では、食べログ3.8仮説は証明できないということを最終的に示します。 以上のことを念頭に置いたうえでお読みいただければ幸いです。”

[vanbraam]

食べログの点数分布の問題は,3.6及び3.8近辺で明らかに不連続な事.正規分布してない程度ならこんなに燃えない;会員も無料会員と有料会員(ランクあり)があるから,これだけでカカクコムの主張が正しいとも言えない

[yasudayasu]

こんな面倒な上に仮定の入り込むことするより、まずは東京と大阪で共通して見られた傾向が他の45道府県でも見られるか確認した方が良いんでは。

[AspergerSyndrome]

元無料会員だが、有料会員の方が優先表示されるとしつこく営業されたので、無料会員もやめた。

[mobits]

評価する人間は機械じゃないしみんなで同じ問題を解いてるわけでもないので正規分布するとは言えないからワイも懐疑派。3.6は評価者の多数が暗に作ってる壁だったりしないのん。

[adramine]

そりゃ統計で証明は出来ないわ。というか初投稿でこれは中々香ばしい。

[misopi]

駆使駆使ってハム太郎かよ。

[tnal]

[?]

[brimley3]

というか食べログの点数で行く店を判断する人がどのくらいいるのかなぁ？感性は人それぞれだぜ。

[tsu_nyan]

「3.8→3.6に落としているだけではないようだ」と言ってるだけで、「おかしい」という結論は全く同じに聞こえる。単純な平均ではない＝手を加えているという事は公式に告知されているので、それで結論は出ている

[hietaro]

「最終的には仮説が証明できない、否定的な結果となってしまいましたが、全国的な評価点分布の傾向、そして個別の評価から考えれば、食べログ運営が評価点に何かしら恣意的な操作を加えていることは明らか」

[beginnerchang]

「データが足りなくて証明できなかった」が許されるのはデータ処理業界だけなんだよなぁ

[waihasaruya]

存在を証明できないけど否定もできないとしか受け取れない書き方だなあ

[kaz_the_scum]

ここですよね。「全国的な評価点分布の傾向、そして個別の評価から考えれば、食べログ運営が評価点に何かしら恣意的な操作を加えていることは明らかです。」

[yubi1guitarbook]

あかんやんｗｗｗｗｗｗｗｗｗｗｗｗｗ

[nakag0711]

「証明できなかった」が「立証できないことが証明された」にすり替わってるぞ

[ssst888]

バカばっかり。金銭で評価が変わるだなんてあり得んってば。 食べログ側にどこにそんな事するメリットがあるのよ。あるとしたら馬鹿な代理店の営業マンが契約欲しさにアホな営業トークしただけ。

[nymc]

〜3.6、3.6〜3.8、3.8〜の違いでユーザーの動向が大きく変わるというデータが食べログには恐らくあって、そこに店の格式とかも含めて評価を合わせている可能性はあるね。もしかしたら妥当なのかも知れないけども。

[quality1]

3.6がやたら多いけどそらは3.6がやたら多くなる計算方法を取ってるからだという話であれば別に公平なわけでお金によって評価が決まってるかどうかはまた別の話

[d415uk3]

統計を勉強し直して欲しい

[Dragoonriders]

そもそものところ、仮定がgdgd。正規分布から割り出した形と現実の形を比較してこねくり回したところで、なにも確かなことは言えないよ。

[sunvisor]

"陰謀というものはそう簡単に尻尾を出さないものです

[yarukimedesu]

有料会員に下駄を履かせているのかもしれない。

[ank0u]

面白かったしどんどん続いてやってほしい。不自然なのは間違い無いのでルール試して行ったらきっとどこかでわかるわけでしょ？わくわく。

[hahiho]

グラフを一目見た時点で採点アルゴリズムの中に3.6と3.8と言う数字が固定値として何らかのフラグに使われてるのは明らかで、不適切な評価の排除やレビュアーの重み付けでは済まされない不審さは否めないと思う。

[touhousintyaku]

この記事1件しかないのを訝しむ反応がやたら多いけど探したら普通にTwitterアカウントがあった https://twitter.com/konkon28983820 /年会費云々はあくまで調査が行われたきっかけでしかなく「なんかおかしいぞ」から何も進んでない

[munioka303]

これは便乗バズりしたくて欲しい結論に向けてこねくり回してる感があって嫌い

[rainbow_doll]

大学生かな？