OpenAI 全面开放 Decisions API，与 TypeSafe 的 Jev 争夺决策模型市场

OpenAI首次向用户广泛开放其Decisions API模型，正式进军快速、低成本智能市场——这一市场最近让前沿实验室前研究员创办的初创公司TypeSafe成为一家价值76亿美元的公司。

TypeSafe的Jev模型开创了一个品类，即充当超级分类器的深度学习模型：给定一组选项，它们能快速做出选择，并为其决策提供置信度评分。软件开发者很快发现，这些决策模型或System One模型可以在多种工作流中替代LLM，运行速度更快，成本也大幅降低。

OpenAI API产品负责人Nikunj Handa告诉TechCrunch，他的同事们看到Jev后说：“哇，我们大概有一百万个用例可以用上这个。”Handa的团队全力冲刺，推出了自己的版本：团队没有构建专门校准的决策模型，而是拿ChatGPT Luna重新配置，以加快推理速度并降低成本。

“Decisions API最大的突破在于速度，把耗时从一到三秒缩短到100、120、180毫秒，”Handa说。“未来，我们可能会进行专门的训练，让我们的模型在这些方面表现得更好。但现在，就是普普通通的Luna把活干完了。”

Decisions API于9月29日在该公司的开发者日上发布，并于周四向所有客户开放。OpenAI为公开版本新增了语音和视觉模态，并通过在地理上部署推理资源，努力确保全球各地区的低延迟。

在与Box、Datadog、Ramp和Speak等客户的初步试用中，工程师们使用该API替换OpenAI的LLM，获得了更高的吞吐量。构建AI语言辅导工具的Speak公司CTO Andrew Hsu表示，Decisions API让该公司将操作之间的时间从1.4秒缩短到0.13秒。OpenAI还用该产品提升了其Dots语音助手的响应速度。

不过，除了“它对你有效”之外，究竟什么才算一个好的决策模型，目前仍不清楚——在智能、成本、校准和速度之间的优化似乎因工作负载而异。TypeSafe CEO Diogo Almeida不信任基准测试，并敦促人们在自己的工作中试用这些模型，但就连TypeSafe也在上周发布最新Jev模型的同时发布了自己的排名，新模型包含支持图像和smart-if语句等新功能。

像AIM System One Index和Artificial Analysis Decision Index这样的公开基准测试往往更青睐Liquid上周发布的新决策模型D1 Ultra，以及Base Lab的Elephant-1。最新的Jev模型在这两个指数上仍具竞争力，分别位列第七和第三，而OpenAI的Decision Model则分别排在第八和第十四。不过，就目前而言，TypeSafe的产品在OpenRouter上是被查询次数最多的。

然而，最有趣的Jev基准测试是JevMan，在这个基准测试中，决策模型玩起了吃豆人；最新的Jev模型在该排名中位居榜首。构建该基准测试的Opper AI首席增长官Felix Wunderlich表示，这款经典游戏“是一个有趣的测试，因为它源源不断地产生快速、高风险的决策。在每个路口，模型都必须在几百毫秒内决定往哪走。”

OpenAI 那个可以说能力更强的模型可能在多模态方面具有优势——在图像分类上，“Luna 极其强大，并且已经表现出更好的校准，”Handa 对 TechCrunch 表示，并补充说 OpenAI 的客户希望 Decisions API 在将图像用作输出方面也能更加灵活。

Handa 还看到了速度的进一步提升将催生新的用例：“我们能不能把它做到比如你知道的 60 毫秒，然后你就可以想象像这样的 API 调用，比如对视频中的每一帧都调用一次？”

随着这些产品变得更快、更便宜，我们可以期待它们名副其实地体现 Jev 的名字——这位经济学家解释了更高效地使用一种资源如何使其更加普及。或者，按照 Handa 的看法，将会出现一组不断扩大的“疯狂的用例”，它们此前一直隐藏在显而易见之处，直到决策模型将它们揭示出来。

当您通过我们文章中的链接进行购买时，我们可能会赚取一小笔佣金。这不会影响我们的编辑独立性。

Tim Fernholz 是一名记者，撰写有关技术、金融和公共政策的文章。他密切报道了私营航天产业的崛起，并著有《火箭亿万富翁：埃隆·马斯克、杰夫·贝索斯与新太空竞赛》一书。此前，他曾在全球商业新闻网站 Quartz 担任高级记者十余年，职业生涯始于华盛顿特区的政治记者。 您可以通过发送电子邮件至 [email protected] 或通过 Signal 向 tim_fernholz.21 发送加密消息来联系 Tim 或核实其来信。

查看简介