Artificial Analysis 改版 Intelligence Index，开源与闭源模型差距扩大
New Artificial Analysis index widens the gap between open and closed models
AI 导读
Artificial Analysis 改版 Intelligence Index 后，Kimi K3.1 Pro 从第 4 名降至第 9 名，排在 8 个闭源模型之后。
摘要与补充说明
新指数中开源模型与榜首的差距从 3 分扩大到 12 分，Grok 4.7 也下降了 12 分。改版后 60% 的指数权重来自私有测试集，用于防止针对已知测试题训练的 benchmaxxing。AI 研究员 Nathan Lambert 认为，benchmaxxing 只是一部分原因，许多训练收益来自与基准任务相似的强化学习环境，而同时维持多领域水平需要复杂的 RL 基础设施。
正文· AI 翻译
Artificial Analysis 对其 Intelligence Index 进行了全面改版，导致 Kimi K3.1 Pro 在排名中下降五位。该模型最初发布时位列第四名，但在第 5 版中跌至第九名，落后于八个闭源模型。Artificial Analysis 现在认为开源模型与榜首之间的差距为 12 分，此前为 3 分。
该指数首次有 60% 依赖私有测试集，以防止“benchmaxxing”，即专门针对已知测试题训练模型的做法。Kimi K3.1 Pro 的下滑表明旧指数让一些模型看起来比实际更好。Grok 4.7 也下降了 12 分。
AI 研究员 Nathan Lambert 认为 benchmaxxing 只是部分原因。如今许多训练收益来自强化学习环境，其中的任务与基准测试相似。要同时在多个领域保持领先，需要复杂的 RL 基础设施，而并非每个实验室都具备。
封闭测试集确实有缺点，因为外部人员无法再发现提示词中的错误。AA-Omniscience 知识测试证明这些错误确实存在。Artificial Analysis 不得不为新指数修订该基准测试中含糊和有缺陷的问题。
没有炒作的 AI 新闻——由人工精选
订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。