Huggingface transformersモデルのONNX runtimeによる推論の高速化 - Retrieva TECH BLOG

Chief Research Officerの西鳥羽 (Jiro Nishitoba (@jnishi) | Twitter) です。 今回はHugging Face TransformersのモデルのONNX runtimeで実行を試してみました。それにより特にCUDAでの実行では2.4倍近い高速化が行えました。 Hugging Face TransformersのモデルのONNX形式への変換方法から、ONNX runtimeでの実行も含めて紹介したいと思います。 ONNXとは ONNX形式への変換 ONNX形式に変換したモデルを用いて推論する ONNX形式のモデルからGPUでの推論 実験 まとめ ONNXとは ONNX とは、機械学習のモデルを表現するOpenなフォーマットです。機械学習を実現するフレームワークは数多くありますが、ONNX形式での出力をサポートしてるものも多数存在 *1

[sh19910711]

"ONNX runtime: 推論処理の高速化も実現 + CUDAでの実行では2.4倍近い高速化 / Hugging Face Transformersには学習済みモデルをONNX形式に変換するツールがついています / onnxruntime-gpu をインストールした後は providers の指定が必須" 2022