エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
rwkv.cpp を試す|npaka
「rwkv.cpp」を試したのでまとめました。 ・RWKV-4-World-JPNtuned-7B-v1-OnlyForTest_76%_trained-2023... 「rwkv.cpp」を試したのでまとめました。 ・RWKV-4-World-JPNtuned-7B-v1-OnlyForTest_76%_trained-20230714-ctx4096.pth ・macOS 13.4.1 1. rwkv.cpp「rwkv.cpp」は、「BlinkDL/RWKV-LM」を「ggerganov/ggml」に移植したものです。通常の「FP32」に加えて「FP16」、量子化された「INT4」「INT5」「INT8」の推論をサポートします。CPUに重点を置いていますが、cuBLASもサポートしています。 2. rwkv.cpp の準備「rwkv.cpp」の準備の手順は次のとおりです。 (1) rwkv.cpp リポジトリのクローン $ git clone --recursive https://github.com/saharNooby/rwkv.cpp.git