TRTorchを使用してPyTorchの推論を高速化する | ゆるいDeep LearningTRTorchについて 以降は下記のリンクを元に記述しています。 https://www.nvidia.com/en-us/on-demand/session/gtcfall20-a21864/ PyTorchはpython依存しているがTorchScriptを使用するとC++からも使用可能になります。モデル静的な構造に変換します。 PyTorchのモデルをTorch Script形式に変換してC++から呼ぶ一例は下記になります。 PyTorchのモデル、TorchScriptのモデルはTensorRTで推論高速化が可能です。 TensorRTの特徴は下記になります。 なるべく低い数値精度を保ったままモデルを変換します。 レイヤー、Tensor合成をしてGPUへのカーネル命令の呼び出しをまとめています。 ハードウェアごとに最適なカーネル命令が異なるのですが、自動的に最適なカーネル命令を取得
Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化 | ゆるいDeep Learning
