WhisperのモデルをONNXにする - TadaoYamaokaの開発日記

WhisperのモデルをONNXに変換する方法について記述する。 Whisperのモデル WhisperのモデルはPyTorchを使ってPythonで実装されている。 そのため、実行にはPyTorchをインストールしたPython環境が必要になる。 環境構築なしでスタンドアロンで利用できると用途が広がる。 また、アプリへの組み込みも行いやすくなる。 ONNXモデル ONNXは、ニューラルネットワークの標準ファイルフォーマットである。 モデルをONNXにすると、ONNX Runtimeなどの推論用のライブラリを使って推論できる。 推論用のライブラリは、組み込みで使うことを意図しているので、スタンドアロンのアプリに組み込むことができる。 ONNXへの変換 WhisperのモデルからONNXへの変換は、pytorch.onnxを使って行う。 ただし、Whisperは、デコーダのループ処理で、前の

[misshiki]

“WhisperのモデルをONNXにする方法について記述した。PyTorchとONNXでtorch.catの動作が異なるため、試行錯誤が必要だった。”

[stealthinu]

WhisperのONNX化について結構詳しく説明書かれてる。2のあたりでFFT掛けるところとか同じようなことしてたので参考になった。