エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
[論文要約] DeiT: 知識蒸留による効率的なViTの学習手法
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
[論文要約] DeiT: 知識蒸留による効率的なViTの学習手法
論文 Training data-efficient image transformers & distillation through attention 概要 ViTの学習に... 論文 Training data-efficient image transformers & distillation through attention 概要 ViTの学習には300M枚の画像からなる膨大なデータセットが必要だった。これに対し、提案手法はViTと同じアーキテクチャを使い、学習方法の改善と新たに提案した知識蒸留手法を適用することで、imagenetのみを使って最新のConvNetと同等以上の性能を達成した。 提案手法の特徴 Transformerに特化した注意ベースの知識蒸留[1]手法を新たに提案 上記知識蒸留手法と重いデータ拡張などによる一連の学習手法の改善により、一般的に使われているimagenetのみによって最新のConvNetの同等以上の精度を達成(図1) 図1: 最新モデルとの精度-スループットの比較 注意による知識蒸留 Soft distillation: 教