DeepSeek 以 Apache 2.0 开源推理框架 DeepInfer
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer，它是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。
摘要与补充说明
该框架基于 vLLM 构建，加入了优化的计算内核、跨多芯片的分布式处理和更快的文本生成技术。DeepSeek 同时发布 deepseek-recipe，复现官方 API 的 token 处理，使自托管环境的行为与官方一致，并称未来模型的代码也将开源。公司表示目标是帮助社区降低算力成本、减少能耗，让 AI 更可负担；文章同时指出，这一发布也会给 OpenAI、Anthropic 等西方厂商带来价格压力。
正文· AI 翻译
Deepseek 已将其内部推理框架 DeepInfer 以 Apache License 2.0 协议开源。推理是训练好的 AI 模型处理请求并生成响应的过程。DeepInfer 是让 Deepseek 的 V4.1-Flash 模型能够大规模快速生成答案的服务软件。
该框架基于 vLLM 构建，并加入了优化的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。未来 Deepseek 模型的代码也将以开源形式发布。Deepseek 还发布了 deepseek-recipe，它复现了官方 Deepseek API 的 token 处理方式，使自托管部署的行为与官方保持一致。
Deepseek 的模型价格已经非常低廉。DeepInfer 补上了最后一块短板，让运行这些模型的成本更低。其目标是“帮助社区降低计算成本、减少能耗，让 AI 更加可负担”，该公司在 X 上表示。但此次发布也给 OpenAI 和 Anthropic 等西方提供商带来了定价压力。考虑到中美之间的 AI 竞赛，此举也可能带有政治动机。如果西方 AI 公司未能达到增长目标，这将对美国经济乃至更广泛的范围构成风险。
没有炒作的 AI 新闻——由人工精选
订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。