AWS 团队为 vLLM 加入双向 KV 传输，让 decode 节点在后续轮次把已算好的 KV 缓存回传给 prefill 节点，避免重复计算对话历史。
在 Amazon EC2 P5en 实例、EFA 网络、1P1D 部署下，最长提示长度时 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍，结果随负载和配置变化。该功能由可配置的 KV 缓存保留 TTL（decoder_kv_blocks_ttl，默认 480 秒）和重算阈值（kv_recompute_threshold，默认 64 tokens）控制，并需要配合 KV-cache-aware 路由使用。
vLLM 新增 push 模式的 NIXL connector，把 prefill 之后的传输协调与准备工作移出首 token 关键路径，从而降低 TTFT 并提升 TPOT。
在基于 Amazon EC2 P5en 实例、通过 EFA 互联的 1P1D 部署上，Qwen3-32B 的测试显示 push 模式相比默认 pull 模式 TTFT 最高提升 3 倍，TPOT 最高改善 30%，具体结果取决于负载与配置。该功能先在搭载 EFA 的 AWS Trainium 集群上构建并验证，随后作为与加速器无关的特性贡献给 vLLM，上述数据来自 GPU 集群，表明收益可延续到 GPU。
The Decoder报道，前OpenAI研究者Cammarata在一篇新文章中重新解读了机械可解释性领域的经典案例，认为著名的InceptionV1猫脸与汽车神经元其实是V形检测器，并非叠加现象，而所谓叠加电路只是按朝向对汽车和狗做普通泛化。
他提出递归泛化模式，并给出初步数据：在Qwen3-32B中约90%的神经元极只有一个主要功能，约7%有两个相关功能，仅2%到4%无法解释，Goodfire称在参数量达万亿级的模型上看到类似结果，批量分析神经元的AI智能体承担了大部分工作。