OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
AIの設計そのものを自動化する時代の到来
AIの設計そのものを自動化する時代の到来 2020.10.28 Updated by Ryo Shimizu on October 28, 2020, 06:20 am JST 誤解を恐れずに言えば、ニューラルネットワークのプログラミングは、とても簡単です。 実は以前、知人の会社がAIを理解するために会社で代数幾何学の勉強会を始めたと言ったとき、それは極めてナンセンスだと指摘したことがあります。 なぜなら、ニューラルネットワークを設計するのに代数幾何学の知識などいらないからです。 たしかにニューラルネットワークを数学的に表現しようとすれば、代数幾何学を使う場合があります。ところが、それは本当にごくごく一部に過ぎません。本筋は代数幾何学で表現することではなく、「どう使うか」という別のところにあるのです。人工知能をやろうとする時にはまず代数幾何学を勉強しよう、というのは、まったく木を見て森を見
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マクニカ、人の脳波でAIの実用化を加速 - 日本経済新聞