-1があるのに1bitとかバイナリーって言ってるの気持ち悪過ぎる。/莫大なパラメータ数があれば確かに1パラメータ辺りの重み付けはかなり小さくなりそう。この位のサイズなら小さなデバイスに入れて動かせそう。

tattyu のブックマーク 2024/02/29 08:15

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4749953678947463424/comment/tattyu" data-user-id="tattyu" data-entry-url="https://b.hatena.ne.jp/entry/s/note.com/shi3zblog/n/n58b0a2252727" data-original-href="https://note.com/shi3zblog/n/n58b0a2252727" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fnote.com%2Fshi3zblog%2Fn%2Fn58b0a2252727" data-user-icon="/users/tattyu/profile.png">驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z</a><br><p style="clear: left">-1があるのに1bitとかバイナリーって言ってるの気持ち悪過ぎる。/莫大なパラメータ数があれば確かに1パラメータ辺りの重み付けはかなり小さくなりそう。この位のサイズなら小さなデバイスに入れて動かせそう。</p><a class="datetime" href="https://b.hatena.ne.jp/tattyu/20240229#bookmark-4749953678947463424"><span class="datetime-body">2024/02/29 08:15</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

note.com/shi3zblog2024/02/29

昨日話題になった「Bit Net」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 Bit Netというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアル...

442 人がブックマーク・68 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

はてなブックマーク

公式Twitter

はてなのサービス