エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
AWS Neuron が予測デコーディングと vLLM サポートを導入
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS Neuron が予測デコーディングと vLLM サポートを導入
本日、AWS は Neuron 2.18 のリリースを発表しました。これにより、PyTorch 2.1 の安定したサポートが導... 本日、AWS は Neuron 2.18 のリリースを発表しました。これにより、PyTorch 2.1 の安定したサポートが導入され (ベータ終了)、vLLM サポートによる連続バッチ処理が追加され、Transformers NeuronX ライブラリの Llama-2-70B サンプルを使用した予測デコードのサポートが追加されました。 AWS Neuron は、生成 AI 向けに構築された Amazon EC2 Inferentia および Trainium ベースのインスタンス用の SDK です。Neuron は PyTorch や TensorFlow などの一般的な ML フレームワークと統合されます。Neuron には、Trn1 インスタンスおよび Inf2 インスタンスでの生成 AI モデルの高性能トレーニングと推論をサポートするコンパイラ、ランタイム、ツール、ライブラリが含ま