NN研究における再現性にまつわるエトセトラ - 渋谷駅前で働くデータサイエンティストのブログ

先日、ふとしたきっかけでしましま先生*1がこちらの論文について触れられているのを見かけたのでした。 これは推薦システム分野におけるNN研究の再現性について検証した2019年の論文で、近年のトップ会議*2に採択されたNN手法18個に対して再現を試みたところ、「reasonableな」努力で再現できたのはわずかに7個に過ぎず、その中でも1個は論文中で主張されたベースラインを超えることは出来なかったと報告しています。 ただ、この報告はNN研究における再現性に関する議論のあくまでも一例であり、実際コロナ禍以前から「論文中ではSOTAを達成と書いているのに同じ実装をどう組んでもSOTAに達しない」みたいな業界噂話はそこかしこで耳にしたものでした。しかしながら、実際のソフトウェアやアプリケーションとしてそれらのNN手法が用いられて、尚且つその結果として何かしらの不具合でも起きない限りは、機械学習業界の

[jusuke]

“『自分にとって都合の良い分析結果が欲しい』という人類普遍の欲求というか欲望こそが再現性問題の最大の要因”　身も蓋もない真理

[skypenguins]

再現性ないならもはやそれは科学じゃなくて宗教なんよ

[wildhog]

MCMCとか乱数使って初期値の影響が残るものも完全な再現は難しいので学術研究との相性は悪い。とはいえ医学や生物系の研究はもっと再現性低いのでそちらの感覚に近づけてくのかな

[jssei]

“「提案手法である以上は必ず既存手法を上回っていなければならない」というプレッシャーとバイアスから評価指標のハック” -> 機械学習に限らず、概ねの研究に言える。スコープ絞ってでも何らかの優位性が求められ

[omega314]

この話、基本のキがまるでできてないとしか思えない。しかも一部の個人の話じゃなくて界隈全体なのがどうしようもない。倫理観・プライド・知能、どれが足りないのか全部足りないのか知らんけど、直ちにヤメロと思う

[bellonieta]

追いかけてる側からしても、しばらく前から「SOTA？ふーん、話半分に聞いとこ」としか思ってない。

[misshiki]

ニューラルネットワーク論文の結果が再現できるのが半数以下だという研究報告があるらしいのだけど。

[uunfo]

山本一郎みたいな文章書くね／実験が再現できないは他分野でも結構あるよね。

[hesopenn]

離散最適化とかでも理論的な保証はないわけで、それでも学問は進むしかない。再現性のないものはやがて使われなくなるだけで、”長期的”には淘汰されるのでは。まぁ長期的、というのが問題なんだけど。

[nuara]

ニューラルネット？