自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ

最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷

[idainahikikomori153]

ブレーカー落ちないのかな

[misshiki]

“vLLM Distributed Inference and Serving”

[agricola]

Gigabit Ethernetでスケールするクラスタが組めるってことは、GPUクラスタのノード間通信はたかが知れている。マイニングリグみたくグラボ挿しまくればよくねぇか？↓RTX A6000はEOLが迫っているから発注はお早めに。

[timetrain]

やはりここで行きつくのはクラスター化か。PS3クラスタみたいな方向にまた向かう？

[oonishin]

マイニングマシンのように、PCI Express ライザーカードでGPU複数枚増設するほうがコストもスピードも有利だと思う。

[stealthinu]

自宅クラスターでVRAM容量の壁を超えると。SaaSは使いたくない、という案件ってなぜかどうしてもあるので、触っとくとなんかにつかえるのかもしれんが金がかかりすぎるな。

[RXRHsZcJ6xnGXZR8TEZA6hAxzRd3mkD]

目の前の箱が自然言語で応答するなんて数年前までのSFそのものなのに意義だのコスパだの言うはてぶ民

[buhoho]

めんどいのでA6000買いたくなる(なお70万円)。クロードくんがエロとか暴力にいちいち反応しなければな / "ぜひ、将来はローカルLlama-3-400Bを実現したいです" 正気か？😂 wwww

[R1na]

クロード3で良いでしょ、、

[kotesaki]

オンプレでこんな環境作ってLLM走らせるってところがすでにマニアの趣味世界で一般的には実用的ではないよなー。まぁ新しいLLM出たら即楽しめるというのが醍醐味なんだろうけど。

[fashi]

安価なNPUでクラスター組めるようになるといいな

[petronius7]

chatGPTは有料版でも月数千円で使えるのに、車が買える値段を払って「稼働率低い」ローカルで動かす意義は何なんだろう？「ロマン？」

[sh2]

夢がある