完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
第210回 IntelがAMDのGPUを採用した理由はNVIDIA？
連載目次 昔を知らぬ若者が、Intelが自社のCPUとAMDのGPUを搭載したモジュールを売るという両社のプレスリリースを読んでちょっと驚いていた（Intelのプレスリリース「New Intel Core Processor Combines High-Performance CPU with Custom Discrete Graphics from AMD to Enable Sleeker, Thinner Devices」、AMDのプレスリリース「AMD Delivers Semi-Custom Graphics Chip For New Intel Processor」）。そこで言ってやった。「商売である。メリットがあれば誰とでも手は結ぶ。だいたいIntelとAMDは非常に仲が良く、協力し合っていた時代もあったのだ」と。 以前にも書いた通り、すでに30年以上もたつが、AMDはIn
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NHK「専門家によるとマイニングのサイトにアクセスした瞬間からパソコンに負荷がかかります」→専門家「全部カットされて真逆のことを報道されました！」
