コモディティ品で GPU 計算ノードを構築したときの障害の記録メモ(2.5 年目) - Qiita

背景 2019 年コモディティ品で GPU 計算ノードを構築するメモ https://qiita.com/syoyo/items/cffcd64aa09cdb042b5d あたりで GPU 計算ノード(機械学習, レイトレ, マイニング)を構築している 2019 年からだいたい 2.5 年くらい連続稼働させていて(~10 nodes くらい), インシデントも多少たまってきたので記録です. GPU の障害 1~2 週間連続稼働させているとエラーも出やすくなります. Linux(Ubuntu) + GPU エラーメッセージ集 https://qiita.com/syoyo/items/0707daed0295db6a3ffa GPU fallen of the bus がよく出ます: 熱暴走なり, メモリエラーが原因が多い模様. 基本リブートすれば治る. 機械学習などで長期間回すときは GP

[sh19910711]

"1~2 週間連続稼働させているとエラーも出やすく / エラーが出ると software reboot(/sbin/reboot)できないことが多い + なにかしら物理リセットできる仕組みがあるとよい / SSD も HDD: 10 個かって 1 個が 2 年で壊れる感じ" 2021