热点事件历史事件

vLLM 新增推式 KV 传输连接器，降低首 token 延迟

1 篇报道1 个报道来源14 天前更新

先了解这件事

AI 综述

vLLM 新增 push 模式的 NIXL connector，把 prefill 之后的传输协调与准备工作移出首 token 关键路径，以降低 TTFT 并改善 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 互联的 1P1D 部署上，Qwen3-32B 的测试显示 push 模式相比默认 pull 模式 TTFT 最高提升 3 倍，TPOT 最高改善 30%，具体结果取决于负载与配置。使用 push 模式需在 prefill 和 decode 两端服务器都配置 NixlPushConnector 替代 NixlConnector。该模式适合可接受提前选定 decode 节点、且以降低 TTFT 为优先的场景；需要双向 KV 传输、或在 prefill 后按负载选择 decode 实例的工作负载仍更适合 pull 模式。该功能先在搭载 EFA 的 AWS Trainium 集群上构建并验证，随后作为与加速器无关的特性贡献给 vLLM；上述性能数据来自 GPU 集群。其他受支持配置也可运行，但性能会随硬件、模型、负载和网络配置变化。

AI 根据报道生成 · 14 天前更新

最新进展10月20日 00:05

vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT

报道时间线

沿着报道，了解事件的不同侧面。

10月20日

00:05
AWS Machine Learning Blog
vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，把 prefill 之后的传输协调与准备工作移出首 token 关键路径，从而降低 TTFT 并提升 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 互联的 1P1D 部署上，Qwen3-32B 的测试显示 push 模式相比默认 pull 模式 TTFT 最高提升 3 倍，TPOT 最高改善 30%，具体结果取决于负载与配置。该功能先在搭载 EFA 的 AWS Trainium 集群上构建并验证，随后作为与加速器无关的特性贡献给 vLLM，上述数据来自 GPU 集群，表明收益可延续到 GPU。