LLaMAは研究者向けの限定リリースなので、ビジネスとかで実用するにはApache 2.0ライセンスのRWKVを使えるのは大きいかと。 / Alpaca のモデルも研究用途限定 / 3GB RAM 使用に抑えるには 'cuda fp16i8 *0+ -> cpu fp32 *1' が必要だった。

BlueSkyDetectorBlueSkyDetector のブックマーク 2023/03/26 19:42

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z

    Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう