オンデバイスでLLMを実行できる「MediaPipe LLM Inference API」、Googleがリリース

Googleは2024年3月7日（米国時間）、同社が開発する機械学習ライブラリ「MediaPipe」を通じてオンデバイスでLLMを実行できる「MediaPipe LLM Inference API」の実験的リリースを発表した。 MediaPipe LLM Inference APIはWeb開発者がオンデバイスでLLMを実行できるように設計されており、Web、Android、iOSをサポートする。LLMではまず、オープンな「Gemma」「Phi2」「Falcon LLM」「Stable LM」をサポートしている。これにより、研究者や開発者は、一般に公開されているLLMモデルのプロトタイプを作成し、デバイス上でテストできる。 関連記事 オープンソースのLLMをローカルで実行できる「Ollama」Windowsプレビュー版、公開 Ollama Projectは、オープンソースの大規模言語モデルを

[misshiki]

“Googleは「MediaPipe」を通じてオンデバイスでLLMを実行できるLLMを実行できる「MediaPipe LLM Inference API」の実験的リリースを発表した。”