跳到正文
只看一手

搜索“Qwen3-32B”

找到 2 条 · 更新于 22:23
10月20日周二
  1. AWS Machine Learning BlogAI 评分55

    AWS 在 vLLM 中实现双向 KV 传输，降低多轮智能体负载的 TTFT

    AWS 团队为 vLLM 加入双向 KV 传输，让 decode 节点在后续轮次把已算好的 KV 缓存回传给 prefill 节点，避免重复计算对话历史。

    在 Amazon EC2 P5en 实例、EFA 网络、1P1D 部署下，最长提示长度时 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍，结果随负载和配置变化。该功能由可配置的 KV 缓存保留 TTL（decoder_kv_blocks_ttl，默认 480 秒）和重算阈值（kv_recompute_threshold，默认 64 tokens）控制，并需要配合 KV-cache-aware 路由使用。

  2. AWS Machine Learning BlogAI 评分42

    vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT

    vLLM 新增 push 模式的 NIXL connector，把 prefill 之后的传输协调与准备工作移出首 token 关键路径，从而降低 TTFT 并提升 TPOT。

    在基于 Amazon EC2 P5en 实例、通过 EFA 互联的 1P1D 部署上，Qwen3-32B 的测试显示 push 模式相比默认 pull 模式 TTFT 最高提升 3 倍，TPOT 最高改善 30%，具体结果取决于负载与配置。该功能先在搭载 EFA 的 AWS Trainium 集群上构建并验证，随后作为与加速器无关的特性贡献给 vLLM，上述数据来自 GPU 集群，表明收益可延续到 GPU。