大規模言語モデルを動作させる時に必要なVRAMの使用量を推定してくれる「VRAM Estimator」

大規模言語モデルを動作させるには、演算処理にGPUを使用するため、グラフィックスメモリ(VRAM)の容量が重要になります。「VRAM Estimator」はさまざまなモデルで必要となるVRAMの容量をシミュレーションで予測するウェブアプリです。 VRAM Calculator https://vram.asmirnov.xyz/ VRAM Estimatorにアクセスするとこんな感じ。 左上の「Running Parameters」で演算内容を指定します。Inference(推論)の場合、Precision(精度)でbf16/fp16か、fp32を選択し、Sequence Length(シークエンス長)・Batch Size(バッチサイズ)・Number of GPUs(GPU数)を指定できます。 Training(学習)の場合、Precisionで「mixed(混合精度)」か「full(

[misshiki]

“LLMを動作させるには、演算処理にGPUを使用するため、グラフィックスメモリ(VRAM)の容量が重要。「VRAM Estimator」はさまざまなモデルで必要となるVRAMの容量をシミュレーションで予測するウェブアプリ。”