シュートを外した後で、ゴールポストを動かして「入っていた」ということにしてはいけない - 渋谷駅前で働くデータサイエンティストのブログ

先日こんなことをコメントしたら、思ったよりも反応が多くて「皆さん同じことを思っていたのかな」と感じたのでした。 シュートを外した後でゴールポストを動かして入ったことにするのはダメですよ / 「当初は有意差が認められなかったが、毛乳頭細胞が少ないと思われる被験者を除いて追加解析したころ、塗布24週後の毛髪密度は「含む」を使った被験者のほうが統計学的に有意に上昇したという」 https://t.co/K91NElUAgN— TJO (@TJO_datasci) 2023年6月6日 要はこれは再現性問題の典型例だという話なんですが、近年あれだけ再現性問題が騒がれた割には意外と未だに世間的にはあまり広く知られていないのだろうか、という気もしています。 このブログでも再現性問題については一通り論じたことがありますが、ちょうど良い機会なので改めてこの手のQRPs (Questionable Resea

[NAPORIN]

“どれほど正当な理由があったとしても、データの選別は事後的にやってはいけない”

[unfallen_castle]

「どれほど正当な理由があったとしても、データの選別は事後的にやってはいけない」常識なんだけど何度も言わないといけないことなんだろうなあ

[ogawat1968]

“事後にデータを選別してしまうと、「分析した後になってから『都合が悪いから』という理由で選別されるのと傍目には区別がつけられない」からなんです”

[tacamula]

統計的検定のためのデータ収集は探索のための収集とは違う注意点があるという点が一番伝えたい点だと思うけどタイトルの比喩ちょっと広くないか

[asrog]

凄く合理的だと思うがこの原則自体知らない研究室や試験部署は本当に多いので、何も考えずそのまま持ち込むと仕事のやり方変えられたボスがキレる光景が目に浮かぶし、上手くやっていきましょう。

[taruhachi]

よくわからない。ビッグデータの解析とかだと、膨大なデータが先にあってあとからフィルタリングして解析するので。それもダメになってしまわないだろうか。

[nakag0711]

有意差かくにん!よかった❤️

[yujimi-daifuku-2222]

条件を変えれば結果が変わるに留まらず、自分好みの結果を導き出すのも簡単なのですよね。はっきり言ってインチキなんですが、まずはそれを問題と考えない人の啓蒙から始めないといけない。

[Gelsy]

ある基準sを上回ったxと、ある基準tを下回ったyだけを選んでくるのがダメなのはわかったが、ある基準sを上回ったxと、ある基準sを上回ったyだけを選んでくるのがダメな理由はよくわからなかった

[NOV1975]

これ、「原因と思われるパラメーターを発見した」と思ってる人多いな。この時点では同じ条件の人を新しく集めて同じ実験をやった時に同じ結果になることは全く保証されない。

[tomex-beta]

”データの選別は事後的にやってはいけない”というお話

[queeuq]

え。次はそれに対して効果があるかどうかを追証するってはなしじゃないの？

[shimokiyo]

データの扱いとしてはとても正しい思考なんだけど、人間が(統計的に間違っていても)儲けたい、結果を出したいという欲求の方が勝ってしまうんだよな。

[filinion]

2020年3月、コロナで志村けんが死んだ時に「有名芸能人というごく少数の集団に死者が出たことは、コロナ感染者数が政府発表よりずっと多い証拠だ！」と主張していた人がいたが、それとよく似た誤りだと思う。

[otihateten3510]

「ショートを外した後でゴールドをドテンロング」に見えた

[kgkaaz]

さすがにこの説明はよく分からんな。サンプル絞るのが駄目なら調整変数や交絡変数として乳頭の量を入れたら良いだけでしょ。大体同じ効果になるけど、それも駄目なの？データ取り直すとかナンセンス

[honehonerock]

事後の選別、ダメ、絶対。

[anus3710223]

こういうのを見ると統計は学ぶべきだなあと感じる。今は高校で習うのだろうけど

[dagama]

「毛乳頭細胞が少ないと思われる」これ結果が出なかったやつは細胞が少ないってことにしとけって意味でしょ　細胞数を計測したわけじゃなさそう　まぁたかが健康食品開発にそこまでカネも時間もかけてらんないか

[boblbea]

「日本すごい」勢と「欧米では」勢が同じデータを参照している可能性がある

[cartman0]

そもそも除外基準が謎やな

[htnmiki]

まあ都合よく鉛筆なめなめしちゃう連中が永田町や霞が関に蔓延る国だしなあ

[konekonekoneko]

優位になる要素に合わせてゴールを動かすのって、極論モンティホール問題の亜種のような逆操作のようなもんなのかな。

[dltlt]

たぶん、薬機・景表法対策で外部のコンサルが入っているのだろうが、このように言ってても無視されてそう

[mangakoji]

やっぱり、場合によるとしか。実験失敗が明らかなサンプルや、ハズレ値は除くでしょ。

[REV]

プールの話ではなかった。

[narwhal]

わぁいムービングゴールポスト　あかりムービングゴールポスト大好き。

[napsucks]

まあ所詮は食品屋のお抱え研究員だからな。商品売るためなら多少の黒も白だろ。研究者としての良心に期待するだけ無駄。

[Shin-Fedor]

"仮説検定の類は「データを恣意的に選別すればいかようにでも狙った結果を出せる」"

[Insite]

新しい知見を見出すためには追加解析はやってもいいけど、それで統計学的な解析をするのは無効（個別に見積もれば不可能ではないが理解してもらえない）。新たなルールでもう一度プレイ。

[zgmf-x20a]

暗にメタ解析を批判しているようにも思えるが、別の解析手法で新たな解釈が生まれるのは良いのだと思う。

[nekoluna]

5/25にげきおこ　ってブクマに書いてた。ごちゃごちゃ言わなくても常識レベルでしょ、とは思う　https://b.hatena.ne.jp/nekoluna/20230525#bookmark-4736859418280779141