Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜 | 株式会社AI Shift

こんにちは AIチームの戸田です 本記事では前回に引き続き、私がKaggleのコンペティションに参加して得た、Transformerをベースとした事前学習モデルのfine-tuningのTipsを共有させていただきます 前回は学習の効率化について書かせていただきましたので、今回は精度改善について書かせていただきます データ 前回に引き続きKaggleのコンペティション、CommonLit-Readabilityのtrainデータを使います validationの分け方などは前回の記事を参照していただければと思います 精度改善 一般的なニューラルネットワークモデルの精度改善方法として、ハイパーパラメータのチューニングやData Augmentationが上げられますが、ここではBERTを始めとするTransformerをベースとしたモデル（以降Transformerモデル）特有の工夫について

[somemo]

“Transformerモデルの最初の層は単語埋め込み -> 文脈のような複雑な情報 -> 最終層に近づくにつれ、「MLMl」や「NSP」などの事前学習に特化した情報を学習していると言われています。”

[misshiki]

“Kaggleのコンペティションに参加して得た、事前学習モデルのfine-tuningの精度向上に関するTips”