プッシュベース KV 転送は、vLLM の不規則な侵入のための TTFT および TPOT を改善します
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
日本語短報
AWS Artificial Intelligenceは10月20日、「プッシュベース KV 転送は、vLLM の不規則な侵入のための TTFT および TPOT を改善します」を公式フィードで発表しました。公式RSSによると、vLLMのプレフィルデコードの解散は、LLMインフェレンスをエンジンインスタンス全体に分割しますが、それらの間のKVキャッシュを転送する必要があります。 この投稿では、重要なパスを転送コーディネートに移動するプッシュベースNIXLコネクタを導入し、最大3倍のTTFTと30%の優れたTPOTをAmazon EC2…。内容は自動翻訳・定型編集されています。詳細や正確な仕様は、リンク先の公式発表をご確認ください。
外電票
- 原文タイトル
- Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
- 原文著者
- Sunita Nadampalli
- 原文公開日時
- AI外電取得日時
- AI外電初回生成日時
- 最終更新日時
- タイトル翻訳
- 日本語訳あり
- 概要翻訳
- 日本語概要あり
- フォールバック
- なし
- 人間修正
- なし
- 公式発表
- 原文を確認する
この記事は公式RSSから自動収集し、ローカル翻訳モデルと定型編集で生成しています。翻訳や取得内容の正確性は保証されないため、重要な確認は公式発表を優先してください。