“Transformer (言語モデル) の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 (Power Law)1 に従うという” “性能に限界が存在しない可能性があります”

自動化

otori334 のブックマーク 2021/01/05 11:59

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4696619749508608674/comment/otori334" data-user-id="otori334" data-entry-url="https://b.hatena.ne.jp/entry/s/deeplearning.hatenablog.com/entry/scaling_law" data-original-href="https://deeplearning.hatenablog.com/entry/scaling_law" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fdeeplearning.hatenablog.com%2Fentry%2Fscaling_law" data-user-icon="/users/otori334/profile.png">OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E8%87%AA%E5%8B%95%E5%8C%96">自動化</a>]</li></ul><br><p style="clear: left">“Transformer (言語モデル) の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 (Power Law)1 に従うという” “性能に限界が存在しない可能性があります”</p><a class="datetime" href="https://b.hatena.ne.jp/otori334/20210105#bookmark-4696619749508608674"><span class="datetime-body">2021/01/05 11:59</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！