いつ剪定しますか？初期の構造剪定に向けた方針
When to Prune? A Policy towards Early Structural Pruning プルーニングにより、ネットワークメモリフットプリントと時間の複雑さを魅力的に削減できます。従来のトレーニング後の剪定手法は、トレーニングのための重い計算を見落としながら、効率的な推論に傾いています。初期化時のトレーニング前の剪定に関する最近の調査は、剪定によるトレーニングコストの削減を示唆していますが、パフォーマンスが著しく低下しています。私たちは、両方向の利点を組み合わせて、パフォーマンスを損なうことなくトレーニング中にできるだけ早く剪定するポリシーを提案します。初期化時に剪定する代わりに、私たちの方法は、ニューロンの重要度ランキングを介して支配的なサブネットワークを絶えず評価しながら、アーキテクチャを迅速に導くために、いくつかのエポックの初期の密なトレーニングを利用します。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://arxiv-check-250201.firebaseapp.com/each/2403.11679v1
https://arxiv-check-250201.firebaseapp.com/each/2401.12694v1
https://arxiv-check-250201.firebaseapp.com/each/2211.06739v2
https://arxiv-check-250201.firebaseapp.com/each/2309.09249v1
注意へのこだわり: 人間の視線追跡をビジョン トランスフォーマーに統合
ProContEXT: 追跡のためのプログレッシブ コンテキスト トランスフォーマーの調査
ネットワーク プルーニングによる軽量オブジェクト トラッカーの設計について: CNN を使用するか、トランスフォーマーを使用するか?
ProContEXT: 追跡用のプログレッシブ コンテキスト トランスフォーマー
リアルタイムUAV追跡のためのランクベースのフィルタープルーニング
カメラ画像とLiDAR点群の時空間表現を使用した共同3Dオブジェクト検出と追跡