画像分野で深層学習を用いる際はImageNetのような大規模データセットで学習した学習済みモデルを使用して転移学習、ファインチューニングを行うことが一般的です。 このファインチューニングを行う際に、最初の数エポックはモデルの最終層以外の重みを固定し最終層だけ学習、その後に全レイヤーの重みを学習するといったテクニックがあります。 blog.floydhub.com www.analyticsindiamag.com 一般的にニューラルネットワークの入力層に近いほど学習データの抽象的な特徴を学習していると言われていますが、 このテクニックを使うことにより、学習初期にいきなり入力層に近いレイヤーの重みが更新されることで抽象的な特徴抽出機能が崩壊することを防ぐ効果があります。 pytorchでは以下のようにパラメータをrequires_grad=Falseすることによってbackward()の際に