搜索“DeepSeek V4.1 Flash”

DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并同步发布 deepseek-recipe 处理层。

官方工程报告称单集群每天服务 155 万亿 tokens、输入缓存命中率 96%、首 token 平均 400 毫秒、生成速度 230 tokens/s（编码场景 300 tokens/s），非高峰时段每加速器小时收入 38 美元。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，覆盖 NVIDIA 与华为昇腾平台。KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开放，完整线上服务仍需自行补齐编排。

DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer，它是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。

该框架基于 vLLM 构建，加入了优化的计算内核、跨多芯片的分布式处理和更快的文本生成技术。DeepSeek 同时发布 deepseek-recipe，复现官方 API 的 token 处理，使自托管环境的行为与官方一致，并称未来模型的代码也将开源。公司表示目标是帮助社区降低算力成本、减少能耗，让 AI 更可负担；文章同时指出，这一发布也会给 OpenAI、Anthropic 等西方厂商带来价格压力。