Gigabit Ethernetでスケールするクラスタが組めるってことは、GPUクラスタのノード間通信はたかが知れている。マイニングリグみたくグラボ挿しまくればよくねぇか?↓RTX A6000はEOLが迫っているから発注はお早めに。

agricolaagricola のブックマーク 2024/04/23 15:12

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

自宅PCでクラスターを構築:コンシューマーGPUの枠を超え、大型LLMをローカルで動かす!|AIサトシ

    最近オープンになる大規模言語モデル(LLM)が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日語性能について...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう