WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場

WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場 ONNX Runtime WebがWebGPUに対応。Webブラウザ上でさらに高速な推論処理が可能になった。Stable Diffusion Turbo全体をWebブラウザ上で高速に実行可能で、RTX4090を用いた場合1秒以内で結果が出力される。 ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします

[pascal256]

これはAIアプリケーションの配布が革命的に変わるな... インストールとかややこしい事は不要になる.

[misshiki]

“マイクロソフトはWebブラウザ上で実行可能な推論エンジン「ONNX Runtime Web」の最新版となる「ONNX Runtime Web 1.17」でWebGPUに対応したことを発表しました。”

[knok]

モデルは2GBぐらいのサイズだった。動かすとvram 5GBぐらいを消費する感じ