BERTの推論速度を最大10倍にしてデプロイした話とそのTips - JX通信社エンジニアブログ

背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社

[misshiki]

“大きなNLPモデルの代表格であるBERTを利用して各高速化手法を検証”

[vaaaaaanquish]

比較スクリプトの公開まで期待

[suica_j]

通信社でさえ推論用ASICとかFPGAとか使ってないところを見るとこの手のチップが普及するのはまだまだ先なんやろうなって

[shinyorke]

プロダクト実装での課題まで考えてくれたストーリーで検証してくれるインターンがいるってホント強い。中の人ながら内容見てオッてなった。