"MacBookPro M2 MAX(32GB)でやると、一単語を生成するのに2分くらいかかる"

finefinethankyou のブックマーク 2023/03/26 22:44

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4734195889670863140/comment/finefinethankyou" data-user-id="finefinethankyou" data-entry-url="https://b.hatena.ne.jp/entry/s/note.com/shi3zblog/n/na991171b8fdd" data-original-href="https://note.com/shi3zblog/n/na991171b8fdd" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fnote.com%2Fshi3zblog%2Fn%2Fna991171b8fdd" data-user-icon="/users/finefinethankyou/profile.png">完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z</a><br><p style="clear: left">&quot;MacBookPro M2 MAX(32GB)でやると、一単語を生成するのに2分くらいかかる&quot;</p><a class="datetime" href="https://b.hatena.ne.jp/finefinethankyou/20230326#bookmark-4734195889670863140"><span class="datetime-body">2023/03/26 22:44</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z

note.com/shi3zblog2023/03/26

Transf ormerは分散できる代償として計算量が爆発的に多いという不利がある。一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。なんと、GPT3並の性能を持つ...

359 人がブックマーク・27 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z

はてなブックマーク

公式Twitter

はてなのサービス