Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化 | ゆるいDeep Learningdocker run --gpus all -it --rm -p 8887:8887 --name tensorrt nvcr.io/nvidia/pytorch:22.07-py3 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/master/notebooks/Hugging-Face-BERT.ipynb Docker内にすでにコードがあるので、そのコードを使用します。 Jupyter-labを起動してコードにアクセスします。
