μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する｜Tatsuya Shirakawa

最近、友人から大規模モデルの学習を劇的に効率化しそうな下記の事実（μTransfer）を教えてもらい、こんなことが成り立つことに非常に驚くとともに、それを知らなかったことにちょっとしたショックを受けました。 μTransfer 下記の手順で大規模モデル（Neural Networks）の最適なハイパーパラメータを効率的に獲得できる 1. 学習したい大規模モデル（ターゲットモデル）と同じアーキテクチャの次元や層数のより小さいモデルを用意し、それぞれのモデルのパラメータと最適化アルゴリズムを μP と呼ばれる方法でパラメータ付けする 2. その小さいモデルで、最適なハイパーパラメータ（学習率など）を探索する 3. ターゲットモデルに小さいモデルで獲得されたハイパーパラメータを適用する Greg Yang+, "Tensor Programs V: Tuning Large Neural Net

[sh19910711]

"μTransfer: 学習したい大規模モデル（ターゲットモデル）と同じアーキテクチャの次元や層数のより小さいモデルを用意 + μP と呼ばれる方法でパラメータ付け / 学習率を任意に大きなモデルにそのまま使い回せる"

[stealthinu]

小さいモデルで探索したハイパーパラメータをそのまま大きなモデルに転用できるという手法。そのための条件を数学的に決めれると。すごい頭の良さ。