AIスタートアップGroqがLLMを超高速で処理するLPUを発表、ほぼリアルタイムでのテキストを生成が可能に | TEXAL

AIスタートアップGroqがLLMを超高速で処理するLPUを発表、ほぼリアルタイムでのテキストを生成が可能に AIスタートアップGroqは、公開ベンチマークで全ての競合を上回る、非常に高速なLPU推論エンジンを発表した。 Groqによると、LPU（Language Processing Unit™）は、大規模言語モデル（LLM）のような逐次的な要素を含む計算集約的なアプリケーションに最速の推論を提供する新しいタイプのエンドツーエンド処理ユニットシステムだという。 GroqのLPUは、言語モデルを実行するために特別に設計されており、最大500トークン/秒の速度を提供する。ちなみに、比較的高速なLLMであるGemini ProとGPT-3.5は、負荷、プロンプト、コンテキスト、配信によって異なりますが、1秒間に30～50トークンを処理する。 この推論エンジンは、性能、効率、スピード、精度のため

[misshiki]

“非常に高速なLPU推論エンジンを発表。 Groqによると、LPU（Language Processing Unit）は、LLMのような逐次的な要素を含む計算集約的なアプリに最速の推論を提供する新しいタイプのエンドツーエンド処理ユニットシステム”