DeepSeek 开源推理框架 DeepInfer,披露单集群 155T tokens/天与每卡每小时 38 美元收入
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer,并同步发布 deepseek-recipe 处理层。
官方工程报告称单集群每天服务 155 万亿 tokens、输入缓存命中率 96%、首 token 平均 400 毫秒、生成速度 230 tokens/s(编码场景 300 tokens/s),非高峰时段每加速器小时收入 38 美元。该框架基于 vLLM 定制,支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出,覆盖 NVIDIA 与华为昇腾平台。KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开放,完整线上服务仍需自行补齐编排。
DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,读者可据此了解其缓存分层与调度设计,以及哪些组件尚未开放。