BERTを量子化して高速かつ軽量にする - moriyamaのエンジニアリング備忘録
こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装されたBERTモデルに量子化を適応する方法を紹介します。 量子化とは 量子化という単語は数学や物理など様々な領域で使われています。ここで述べる量子化は情報理論における量子化であり、主に連続値を離散値で表現することを考えます。 機械学習の枠組みで考えるとモデルのパラメータや学習時の勾配（場合によっては入力と出力データも含める）の数値表現を浮動小数点から整数に変更することを目的にします。 ディープラーニングではパラメータ等をfloat32で表現することが多いですが、もしこれ
自然言語処理のための機械学習入門１章
2. 自己紹介 ステータス • @piroyoung a,k,a みずかみひろき • 数学(ゲーム理論） → SPA企業の総合職（物流・小売） → データナントカ（コンサル）Now! • 最近，渋谷が気になる スキル・興味・近況 • R, SQL, Python, Ruby, Jags/Stan • データマイニング屋 • NLPについては何も知らない • Scala修行中 • 新しいものが好き • Yo!! 始めました → PIROYOUNG • LINEも始めました→ piroyoung 2 5. • 1.2 最適化問題 • 1.2.1 凸集合と凸関数 • 1.2.2 凸計画問題 今日やること • 1.2.3 等式制約付き凸計画問題 • 1.2.4 不等式制約付き凸計画問題 • 1.3 確率 • 1.3.1 期待値 平均 分散 • 1.3.2 結合確率と条件付き確率 • 1.3.3 独
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
