9割の人が知らない再現性の危機 - 本しゃぶり

本で読んだ知識をドヤ顔で紹介したら、その実験には再現性がありませんでした。 そんな恥ずかしい記事を書いたブロガーは誰でしょう？ そう、私です。 ステレオタイプ脅威はありますん ちょっと前に「ステレオタイプ脅威」の記事が話題になっていた*1。 世の中には「女性は数学に弱い」というような負のステレオタイプがある。自分のアイデンティティがそれに該当していると意識してしまうと、実際にパフォーマンスが落ちるというものだ。これは様々な実験の結果によって示されている。というのが記事で紹介されていた話だった。 ところが現在、その「実験結果」は再現性が無いと言われている。ステレオタイプ脅威の根拠は実験結果にあるというのに、その土台は不確かなものであるのだ。 とくに、最近の研究ではほとんど再現性がないとされている「ステレオタイプ脅威」について、リベラルバイアスにも言及しながら議論しているのが印象的。 日本では

[honeshabri]

自分のことをネタにする場合は一切気を使わなくていいのが楽

[and_hyphen]

心理学で学士を取り認知神経科学で修士を取った当方、「思いつく研究は大体誰かがやって結果出なかったやつ」が合言葉でした

[aobon700]

前回のフォローの記事。とても真摯な態度ですごい(自分だったら、がっつりヘコんでそうだ)。

[chinquick]

待ってた投稿。原著の方を読んでたけど再現性については視野の外だった。ストーリーが美しいと、それだけで万物に適用できる真理かのように語りがち。ビジネススクールで学ぶことなんてほぼ100%そうだから要注意

[fromdusktildawn]

再現性以前に、そもそも根拠としている論文からは言えないことを主張している本を根拠として記事が書かれて、それに賛同するブコメがたくさん付いているのがはてなの日常風景。

[peketamin]

研究における Null Resultや「出来ないことが結果としてわかりました」報告はもっとあってもいいと思う。研究の世界にまで功利主義が働いてしまうとまさにHARKingの懸念が大きくなる

[augsUK]

偏りのない被験者数が数千とかあればp-hackingも難しいのだが、任意の学生数十人の結果からp値出しても認められる分野だから揺らぎが大きすぎるのよね。そこに悪意を持った研究者も当然くるから酷いことに。

[hisawooo]

「重要なのは透明性」実験その物さえ再現できれば少なくとも科学の土俵には乗っている

[Aobei]

95人の研究者は有意差は無く、5人の研究者は有意差があるという結果、選ばれし5%の研究者だけが論文を雑誌に投稿する。出版バイアス。

[c_shiika]

研究現場ネコ案件

[kanopen]

再現性と言うと機械学習の解析とかはこの辺どうクリアしていっているのだろうなと

[wackyhope]

心理学や生物・医学における再現性の危機の問題について。参考文献・書籍の記載も有り。

[XFKDX]

“ちょっと検索すれば分かるのに、それをしない研究者は多い”

[efcl]

p HackingやHARKingについて

[soreso]

社会心理学ゥ……。専攻してただけにつらい😢でもわかる……。なんか実学って感じが薄くて、雲の上にはしごを立てるようなフワフワした研究ばかりだった。データの分析次第でどうとでも転がせる、みたいな。

[akymrk]

“世界最大の独立バイオテクノロジー企業アムジェンで働いていたC・グレン・べグリー""画期的な53本の論文を選び出すと、それを再現するために活動を開始した""実験結果を再現できたのは53件中わずか6件”"p Hacking""HARKing"

[liposo]

一本新しく論文が出ただけではそれが示す事実が絶対正しい、なんてこと無いのは当然なのでは

[burabura117]

至るところで目にする…投資界隈でも…。

[smicho]

統計を多用するところはだいたいダメ。

[kuroyuli]

あと心理学においては、「人間の心理そのものが時代と共に変化して再現性が無くなった」ってパターンもあるかもね

[catbears]

基準を変えれば再現は有無に意味なく結果でありプロセス自体は意味がないかと。寿命という構造で例えばジョブスは一人だが人間は多数いてプロセスは分解され小さな基準として多くの人に再現性の機会へ代謝してたり。

[dpdp]

なるほど

[Cru]

”研究資金を獲得するには、成果を出し続ける必要がある”...…成果主義が導入される前の昭和の研究でノーベル賞が相次いでるんだから、成果主義自体を見直してもよいかも。

[marmot1123]

インパクトファクターとはてブ数の類似

[uva]

うああ・・・。SCIENCE FICTIONSも翻訳がでたらぜひ読みたい

[taiyousunsun]

立てた仮説が間違ってましたって論文はもっと評価されてもいいよねとは思う。数が集まれば大いに後人の助けになる。

[ignis09]

前の記事で納得しちゃったけど再現性なかったかー

[urashimasan]

研究室や雑誌の格に関わらず、先行研究が再現できないこと多すぎ。誤解が生じた理由まで明らかにしちゃうとブチ切れられるし。

[uehaj]

男女の差はないという美しい結論に飛びつきたがるリベラリズムバイアス。

[nagaichi]

古い研究は新しい研究による批判にさらされてることが良くあるので、知識をアップデートできない高齢半可通はつらい。『～研究の最前線』みたいな一般書を読むのだ。

[daysleeeper]

本文でも触れられてるけど、心理学実験の多くは実験する心理学者が自分の望んでる結果に誘導してしまうのが問題になってますねー。そういう話の本、最近いっぱい出てる。

[shikiarai]

転んでもタダでは起きない精神好き

[venom]

“「9割の人が知らない」のソース”w

[t0ng]

あるあるで慰められたいだけで、再現性なんか求めてる奴、この界隈にいないだろ

[number0917]

ステレオタイプ脅威からしっかり広げていて好感

[blockchain-bitcoin]

ニセ科学批判クラスタにありがちな誤謬。怪しい論文を持ち出して「これが科学だ！」と叫ぶが再現性や利益相反の問題を無視しがち

[mangakoji]

収容所実験も再現性が…とか言ってたね

[katsyoshi]

sugokuyoimatome。

[k_wizard]

(読書猿氏は悪くないと思うが、タイトルの付け方はクソイよね。

[chicken_geek]

行動経済学とかも再現できないの多そう