金持ちの研究所から出てきた機械学習の論文なんてゴミだ

[D] I don't really trust papers out of "Top Labs" anymore : MachineLearning あのさ。書いてある数字は事実だろうし実際書いてある研究はやったんだと思うよ。そこんとこは認めてやるよ。でもそれだけだ。例えば最近の"An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems"（巨大マルチタスク学習システムに対するタスクの動的追加における進化的アプローチ、著者Andrea Gesmundo, Jeff Dean、GoogleのAI部署所属）って論文だがな。この18ページの論文は超複雑で進化的なマルチタスク学習アルゴリズムについて書いてあって興味深いし、実際問題を解決してるさ。でも二点ツッ

[knok]

その訓練済みモデルを公開してくれるならまだちょっと救いはあるのだけど、それでも再現性の確保が困難

[mrkn]

正しい指摘だわ

[omega314]

Big money in, big garbage out.

[pwatermark]

改善のコストパフォーマンスもちゃんと比較すべきだよね、改善ポイント/ドル、とかでｗ

[Xray]

そういう研究が目立つだけで、多くの研究はそこまでの計算パワーを要求しないけどな...

[hdkINO33]

“カネに物言わせて莫大な計算力をぶん回せば雑なニューラルネットワークでもそこそこの結果は出せるわけで、そんなものを成果として誇っている研究者ばかりの業界は果たして科学なのだろうか。”

[odz]

発生する人件費考えたら$57,348くらいはさしたる金額でもない気が。そしてこれで5年間4人家族養うって少なくとも米国では難しいのでは。（$240/人・月くらいなので持ち家前提で食費のみならなんとかなるのかな）

[hikaku_san]

元ネタのReddit見ると本物のJeff Deanが登場してすげーってなってる。そしてこの論文の目的はCIFAR-10を改善することではないとのこと。

[door-s-dev]

分かる。SOTAを更新することがゴミだとは思わないけど、いかに計算量を減らすかって方向で研究して欲しいかなぁ

[shunkeen]

論文誌へメタに過学習してメタな汎化性能が落ちてる感じ？そして計算資源の制約というメタな正則化っぽい提案が面白い。まー、SDGsからすれば電力削減は妥当かもなぁ＞“この問題に対処する新しい論文誌が必要だろ”