DeepSeek 以 Apache 2.0 开源推理框架 DeepInfer
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer,它是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。
该框架基于 vLLM 构建,加入了优化的计算内核、跨多芯片的分布式处理和更快的文本生成技术。DeepSeek 同时发布 deepseek-recipe,复现官方 API 的 token 处理,使自托管环境的行为与官方一致,并称未来模型的代码也将开源。公司表示目标是帮助社区降低算力成本、减少能耗,让 AI 更可负担;文章同时指出,这一发布也会给 OpenAI、Anthropic 等西方厂商带来价格压力。