DeepSeek以Apache 2.0开源推理框架DeepInfer
先了解这件事
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer。该框架用于支撑 V4.1-Flash 模型的大规模快速推理服务，基于 vLLM 构建，加入了优化的计算内核、跨多芯片的分布式处理和更快的文本生成技术。 DeepSeek 同时发布 deepseek-recipe，复现官方 API 的 token 处理，使自托管环境的行为与官方一致。DeepSeek 称，未来模型的代码也将开源。 DeepSeek 表示，开源目标是帮助社区降低算力成本、减少能耗，让 AI 更可负担；报道指出，这一发布也会给 OpenAI、Anthropic 等西方厂商带来价格压力。
AI 根据报道生成 · 13 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Latent Space 精选DeepSeek 开源推理框架 DeepInfer，披露单集群 155T tokens/天与每卡每小时 38 美元收入
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并同步发布 deepseek-recipe 处理层。官方工程报告称单集群每天服务 155 万亿 tokens、输入缓存命中率 96%、首 token 平均 400 毫秒、生成速度 230 tokens/s（编码场景 300 tokens/s），非高峰时段每加速器小时收入 38 美元。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，覆盖 NVIDIA 与华为昇腾平台。KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开放，完整线上服务仍需自行补齐编排。
- The DecoderDeepSeek 以 Apache 2.0 开源推理框架 DeepInfer
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer，它是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。该框架基于 vLLM 构建，加入了优化的计算内核、跨多芯片的分布式处理和更快的文本生成技术。DeepSeek 同时发布 deepseek-recipe，复现官方 API 的 token 处理，使自托管环境的行为与官方一致，并称未来模型的代码也将开源。公司表示目标是帮助社区降低算力成本、减少能耗，让 AI 更可负担；文章同时指出，这一发布也会给 OpenAI、Anthropic 等西方厂商带来价格压力。