"今回の論文では、3B以上のパラメータサイズになるとBitNetは精度でも推論速度でもtransformerに勝つことがわかり、70Bモデルになるとその推論速度差は現行のハードウェアでさえ8.9倍になるという"

medihen のブックマーク 2024/02/29 18:12

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4749953678947463424/comment/medihen" data-user-id="medihen" data-entry-url="https://b.hatena.ne.jp/entry/s/note.com/shi3zblog/n/n58b0a2252727" data-original-href="https://note.com/shi3zblog/n/n58b0a2252727" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fnote.com%2Fshi3zblog%2Fn%2Fn58b0a2252727" data-user-icon="/users/medihen/profile.png">驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/AI">AI</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E3%83%86%E3%82%AF%E3%83%8E%E3%83%AD%E3%82%B8%E3%83%BC">テクノロジー</a>]</li></ul><br><p style="clear: left">&quot;今回の論文では、3B以上のパラメータサイズになるとBitNetは精度でも推論速度でもtransformerに勝つことがわかり、70Bモデルになるとその推論速度差は現行のハードウェアでさえ8.9倍になるという&quot;</p><a class="datetime" href="https://b.hatena.ne.jp/medihen/20240229#bookmark-4749953678947463424"><span class="datetime-body">2024/02/29 18:12</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！