AWS Inf1上でBERTモデルの推論を走らせる―モデルコンパイルから速度比較まで｜朝日新聞社 メディア研究開発センター

今回のテックブログは、BERTの系列ラベリングをサンプルに、Inferentia、GPU、CPUの速度・コストを比較した結果を紹介します。Inf1インスタンス上でのモデルコンパイル・推論の手順についてのお役立ちチュートリアルも必見です。 AWS Inf1とは こんにちは。メディア研究開発センター (通称M研) の田口です。今回はAWSのInf1インスタンス上でBERTモデルを動かす際の流れをご紹介したいと思います。 さて、みなさんは機械学習モデルの推論をどこで走らせていますか？ BERTのようなサイズの大きいモデルを走らせる場合、コスト上問題なければTPU・GPUを使いたいですよね。とはいえ、できるだけコストは抑えたいのでCPUを選択すると「推論速度が…」という悩みがでてきます。そこでM研では、GPU・CPUに代わる選択肢としてInferentiaというチップを搭載したAWS Inf1の検