OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

[hobbiel55]

「多くの問題がどれだけお金を払えるかという問題に変わります」←また、資本家に富が集中する新たな可能性が開かれた。

[Ez-style]

要するに、レベルを上げて物理で殴ればいい、みたいな。

[schyzon]

資本力ある企業がAIベンチャーを駆逐する構図が思い浮かんで辛い

[geopolitics]

札束で殴る。札束は上限なし。

[mkusunok]

ゴールドラッシュと同じで、フロンティアが開拓された後は資本集約してスケールさせる展開に？

[otoan52]

どの脳でもそれなり以上には機能している、という観測結果をうまく説明できる気がする。

[Cru]

もはや旧聞になってしまったけど、ブクマしとこう

[enemyoffreedom]

2021年1月の記事

[yefu]

ディープラーニングの能力は計算資源のスケールに依存して向上し続ける

[hippy-hikky]

サイズが大きければってことは、記憶できるパターンの数が多いほど精度が上がるみたいなことかな（よくわかってない）？だとしたら理解はできるけどあまり夢は持てないなー

[phare]

“Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです”

[t1mvverr]

正解にたどり着いた感

[skypenguins]

予算の規模がやばいな

[hihi01]

すごいな、AIの性能限界もべき分布で、リソースの量のみによると。

[zkzi3254]

性能限界無いって凄いな

[mochitabesugi]

Transformerの性能に限界がないのか。金に物を言わせて大量に良質のデータをかき集め、豊富な計算資源を用意すれば、いくらでも性能の高いものが作れるということか

[hatest]

いろんな意味でスケールのでかい話

[mysql8]

2021年プレ・シンギュラリティ(GPT-4 AGI)は近い パラメータ数が多い=ニューロンが多いほど頭がいいってことにならない？老化や萎縮でニューロンが減ると認知症やボケるってそうゆうことだよね？5000兆円あげるからAGI作って

[knok]

コーパスが人間の一生分あればAGIに近づくだろうか？さすがにそれだけでは無理かな。他のモダリティ情報もないと

[denqueue]

"Transformer (言語モデル) の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 (Power Law)1 に従うというものです."

[misshiki]

“1つはScaling Lawの有効範囲には上限がない可能性です．つまり，理論上は3つの変数を上げ続ければTransformerの性能は無限に上がり続けることを意味します．”

[stealthinu]

凄い論文。Scaling Lawは上限がなく規模により性能が無限に上がるのとあらゆるドメインに適用できる可能性を示唆。極端なこと言えば予算あれば現在でもシンギュラリティ可能ってことでは。

[aipacommander]

すごいけどお金。。。。

[Nyoho]

「Transformerの性能はたった3つの変数のべき乗則に支配されている」

[otori334]

“Transformer (言語モデル) の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 (Power Law)1 に従うという” “性能に限界が存在しない可能性があります”

[hirokiky]

すごい。夢しかない。