PyTorchでの学習・推論を高速化するコツ集 - Qiita

本記事では、NVIDIAから発表されているPyTorchでのディープラーニングを高速化するコツ集を紹介します。 【※NEW】22年6月新記事：スクラム関連の研修・資格のまとめ & おすすめの研修受講方法 本記事について 本記事は、NVIDIAのArun Mallyaさんの発表、 「PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA」 に、説明やプログラムを追加して、解説します。 本記事のポイントは、Andrej KarpathyがTwitterで呟いている通りとなります。 good quick tutorial on optimizing your PyTorch code ⏲️: https://t.co/7CIDWfrI0J quick summary: pic.twitter.com/6J1SJcWJsl — Andrej

[totttte]

“os.cpu_count()”

[dann]

non_blocking=True

[misshiki]

“DataLoaderについて（num_workers、pin_memory）、 torch.backends.cudnn.benchmark = True について、ミニバッチサイズを大きくしよう、Multi-GPUの設定、テンソルの変換関数はJITに、その他のTips”