食べログ3.8問題を検証 - クイックノート

先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食

[taitoku]

一目瞭然だな。あともう一つ調べるとしたら、食べログの3.6の店と3.8の店のグーグルでの評価をプロットすると面白い感じになるかも。（仮説は3.6の店の分布の方が3.8の店の分布より上に行く）

[igrep]

正しい統計の使い方だ

[esbee]

『ヤバい経済学』で相撲の八百長を証明するのに勝ち越し力士と負け越し力士のデータを示したのを思い出した

[mats3003]

3.5～3.8の間くらいで予約が食べログ経由になっていない店をピックアップすると、いい感じの店がリストアップできそうだな。

[sc_watcher]

これくらい露骨なら検出できるが、自然な分布の中で課金額ランキングをそれとなく反映するシステムとかやられると割とどうしようもない感じがした。

[kunigaku]

3.6の店をえらべばいいのかな？

[tackman]

「ヤバい統計学」だ。食べログ3点台後半はめっちゃ美味い！になるタネはこういうことだったと

[negitolong]

相撲の八百長検証みたいだ

[moccos_info]

相撲の8勝7敗を思い出した

[heroyoukey]

ラーメン二郎三田本店が3.77だから、正しい統計に思える。総帥が食べログにお金払うとも思えないし、俺たち信者が5.0以外をつけるわけもない。

[powerhouse63w]

姉妹記事 https://nbviewer.jupyter.org/gist/UchideHiroki/8f669ffbfe8b38320bd9d6d39d3dd574/upload.ipynb

[masatoi]

この前行った食べログ3.6のお店がやたら美味しかったのはこういうことなんだな

[DG-Law]

（誤削除につき再ブクマ）

[naga_sawa]

食べログ3.8問題検証/明らかに分布がおかしい3.6と3.8の壁/いまごろ公取対策に必死になって点数やログをいじってるのだろうか

[ireire]

3.6の突出は異質な感じだけど、3.8は4以上が極端に少ないことを考えれば、連続的に推移してるように見えなくもない。ヒストグラムだから、極端に見えるだけかも？そうでもないか？

[amanomurakumo]

カカクコムの運営だということをブコメで知る。

[neofreudian]

3.6のスパイクは確かに不自然だけど…日本人が大好きなのは「普通」だから３と普通よりちょっと良い４がめちゃくちゃ多い評価になるのでは…アマゾンや他のレビューサイトの検証も誰かしないかな…

[onesplat]

お前らまだ食べログの点数とか見てたの？ / こういう不正、内部の人間が簡単に告発できる仕組みが欲しい。

[kiyo560808]

3.8以上の評価のお店の有料率を公開してほしい。あと、これから分布が急に変わってくるかもしれないから、この時点でのデータを記録できたのはよかった。

[umiusi45]

食べログもインディードも「基本無料」といわれるシステムほど課金しろと五月蠅いものよｗ

[itochan]

食べログ 3.6」で検索してきました

[lifecooking]

変な結論導いてる人いるけど、アルゴリズム的に3.6と3.8に高い壁を作ってるかもしれないという推論しかできないんですが…有料店舗会員、非有料会員で分布を分けて比較したグラフなら価値があると思います。

[kamomako]

素晴らしい分析。とても有意義な記事ですね。ありがとうございます。

[belgianbeer]

確かに恣意的なものが見える

[suzuharu49]

「食べログ」を参考にしてお店を選ぶ方も多いと思います。大切な自分の時間とお金を使うのですから、確かな情報を提供して欲しいですね。

[kaerudayo]

これはこれはだな

[geopolitics]

統計学の教科書によく出てくるパン屋の話を思い出した。https://www.netlorechase.net/entry/2016/09/24/164544

[iku-sawa11]

どうやってデータ取得したのか気になる。クローリング？

[furugenyo]

もしかして価格帯とか「信頼できるユーザー」の絞り方に恣意的なものがあるんじゃ？万人に良いお店なんてないし。

[rikuhiro1]

とてもわかり易い検証でした。ありがとうございます。

[albertus]

Yelpを使ってるからどうでもいいや・・・

[cattower]

食べログ使ってるやつは情弱（クソコメ）

[kikunantoka]

なるほど

[Makots]

食べログ星3.6付近の店がリーズナブルでうまい実感ある。星4以上の店の客単価が2～3万くらいするのでそんなに金かけてまずいと思いたくないというバイアスもある。

[konkon3249]

追試+店舗の会員／非会員も考慮して解析した結果、問題は証明できませんでした。分布の変化は他のアルゴリズムによるものだと思われます。https://konkon3249.hatenablog.com/entry/2019/10/10/020458

[shuitic]

全部3.6以下の店はお金払っていないってこと？

[KQX]

多数の評点の平均は，中心極限定理により（諸条件のもとで）正規分布に収束します。単純な平均なら3.6を超える点数が3.6以下となるよう，何かの変換が行われている可能性があります。検証は，正規性の検定などを…

[yasudayasu]

3.6のコブを3.8辺りに持っていくと割ときれいな形になるのな。特に大阪の方。というか3.6という同じところで東京も大阪もコブが出来ているのは、ちょっとあからさまでないの。

[natroun]

追試する人がいないと真偽のほどは定かでないが、めっちゃ面白いグラフ。／しかし、良心に任せて運用しても適切な評価がされるとは到底思えないのが正直なところで、評価システム自体の限界はあるよな。

[crowserpent]

評価分布だけでここまであからさまに操作の跡があるのは凄いなー。