gpt-neox-20b を 3090 x 2 で動かすメモ(3090 x 1 でも動く!) - Qiita

ChatGPT(GPT-3.5?) しゅごいよねぇ... ローカルで(GPU で)似たようなの動かしたい... 追記: 2023/06 時点ですと 8bit 量子化が成熟してきていてで 3090 x 1 で問題なく動きました. また日本語ですと rinna 3.6B がいい感じでした. https://zenn.dev/syoyo/articles/946c17666e10fb LangChain + GPT-NEOX-Japanese-2.7b で日本語 LLM やりとり整備するメモ https://qiita.com/syoyo/items/d0fb68d5fe1127276e2a GPT-NEOX-Japanese-2.7b 試したけどなんか微妙だったネ... とりま LLM では大きさは正義と思いますので, gpt-neox-20b 試します. https://www.infoq.

[sh19910711]

"gpt-neox-20b は元モデルサイズが43GB くらい / INT8化 + 3090 x 2 GPUsに分割で30 GBくらいのメモリで動くようになるやりかたがありました / huggingface accelerate(ややこしい名前...) で GPU に入らない部分を CPU にオフロードさせる手も"