“LLM、つまり大規模言語モデルは、モデルが大きいと、計算量とメモリが大量に必要。モデルを圧縮する技術3つのうち量子化で、16bitとか32bitの情報量を減らす。0,1,-1の3値、2の1.58乗だから実際は1.58bit”

yarumato のブックマーク 2024/04/16 16:29

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4752148761709964736/comment/yarumato" data-user-id="yarumato" data-entry-url="https://b.hatena.ne.jp/entry/s/www.itmedia.co.jp/aiplus/articles/2404/16/news064.html" data-original-href="https://www.itmedia.co.jp/aiplus/articles/2404/16/news064.html" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fwww.itmedia.co.jp%2Faiplus%2Farticles%2F2404%2F16%2Fnews064.html" data-user-icon="/users/yarumato/profile.png">生成AIでGPUがいらなくなる？　業界を揺るがす「1ビットLLM」とは何か、識者に聞いた</a><br><p style="clear: left">“LLM、つまり大規模言語モデルは、モデルが大きいと、計算量とメモリが大量に必要。モデルを圧縮する技術3つのうち量子化で、16bitとか32bitの情報量を減らす。0,1,-1の3値、2の1.58乗だから実際は1.58bit”</p><a class="datetime" href="https://b.hatena.ne.jp/yarumato/20240416#bookmark-4752148761709964736"><span class="datetime-body">2024/04/16 16:29</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！