OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
Node.jsアプリケーションのDockerイメージのサイズを削減する方法について調べた - The Third Law
Next.jsアプリケーションのDockerイメージのサイズが大きくて困っていたので調べていたところ、Next.jsの公式ドキュメントにDocker Imageというセクションがあり、おすすめ設定が記載されているのを見つけました。以前はここまで詳細な記述はなかったのですが、つい10日ほど前に追加されたようです。 ドキュメントには一番おすすめの方法だけ書かれているのですが、もともと「What is the best way to use NextJS with docker? · Discussion #16995 · vercel/next.js · GitHub」というdiscussionがあり、ドキュメントの記述はここでの議論が元になっているようです。Discussionではいくつか例が示されているのですが、それぞれさまざまな最適化テクニックが利用されており、どれくらいの容量になるか気
黄色いほっぺの人々💙💛 on Twitter: "山田太郎先生が、最新の動画で、メディア芸術ナショナルセンター法案の今期成立が厳しいのを一方的に野党が悪いかのように主張しているので、さすがにその主張は酷すぎるなあと思いました。 《Law32》明暗分かれた議員立法の行方、、、〜産後… https://t.co/zHBmpFo3EB"
山田太郎先生が、最新の動画で、メディア芸術ナショナルセンター法案の今期成立が厳しいのを一方的に野党が悪いかのように主張しているので、さすがにその主張は酷すぎるなあと思いました。 《Law32》明暗分かれた議員立法の行方、、、〜産後… https://t.co/zHBmpFo3EB
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ