複数ノードDockerでChainerMNを動かすためのTips - Stimulator

- はじめに - ChainerMNがついに本家Chainerにマージされました。分散深層学習への本気度が伺えます。 github.com 節目という事で、Dockerを利用して複数ノードでChainerMNするために行った事のメモをTips形式で残しておこうという記事です。 私は半年くらい前からこの記事の内容を使っているのでアップデートがあるかもしれません。 加えて、最近はkubernetesを使うのが流暢で、PFNさんも公式ブログ書いてるし多分k8sが良いと思います。 ChainerMN on Kubernetes with GPUs （私もk8s挑戦してるけどあんまり上手くいってなくて放置中です…） この記事はk8s使えないけどDocker使えるような分散環境はあるみたいなニッチな需要を満たすかもしれないなあというレベル感の記事です。 - はじめに - - 前提と参考文献 - - D

[kuenishi]

ncclのインストール昔は大変でしたが、いまは nvidia/cuda:cudnn7... とかに入っているのでそっちを使うのがいいと思います。 cupy-cuda92 とかでも入ります