NVIDIA の GPU の使用率を、Ganglia で監視するようにした。 GPU の状態は nvidia-smi コマンドで取得できる。dmon モードで起動すると、連続的に1エントリ1行の形式で出力してくれる。 nvidia-smi dmon -s pu -d 5 # gpu pwr temp sm mem enc dec mclk pclk # Idx W C % % % % MHz MHz 0 64 36 0 0 0 0 3004 745 1 68 36 94 4 0 0 3004 745 0 64 37 0 0 0 0 3004 745 1 64 37 0 0 0 0 3004 745 0 21 37 0 0 0 0 324 324 1 21 37 0 0 0 0 324 324 0 21 36 0 0 0 0 324 324 1 21 35 0 0 0 0 324 324 .