跳到正文

#评测/基准

重要进展,按时间持续更新

阅读日报
  1. Latent Space 精选AI 评分80

    Google DeepMind 发布 Gemini 4 Carbon,登顶多个榜单并面向网络安全防御者开放

    Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,称其在网络安全和长周期任务上达到 SOTA,并以 59 分位列 Artificial Analysis Intelligence Index v5 第一。

    官方称其在 SEC-bench Pro 漏洞发现上得 88.2%、ExploitGym 利用上得 54.8%、CWE-bench 修补上得 71.0%,模型支持 1M token 上下文,输入覆盖文本、图像、视频和语音,输出为文本。

    关注点

    汇总了 Gemini 4 Carbon 在多个独立榜单的排名与定价,并列出仅限网络安全防御者使用的准入限制。

  2. The Decoder 精选AI 评分88

    Google DeepMind 发布 Gemini 4 Carbon,距 Argon 仅两周

    Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分登顶,前代 Argon 为 50 分。

    Google 称 Carbon 面向需要持续智能体工作流的长时间工程问题,内部团队曾连续运行数天,用于大型代码库的根因分析和缺陷修复。第三方评测显示,Carbon 在 Antigravity 的智能体编码上仍落后 Claude Code 搭配的 Opus 5.5 三分;在 AA-Briefcase 智能体知识工作上达到 1,609 Elo,但低于 Kimi K3.1 Pro 等模型。

    关注点

    材料汇总了第三方基准与定价,读者可据此判断 Carbon 在智能体编码、安全任务上的位置和成本取舍。

  1. Latent Space 精选AI 评分88

    Anthropic 提交 S-1 拟登陆纳斯达克,H1 2026 营收 163 亿美元、Q2 运营利润 9.74 亿美元

    Anthropic 于周一公开提交 S-1,计划以代码 ANT 在纳斯达克上市。

    2026 年上半年营收 163 亿美元,2023 年为 4100 万美元;仅 Q2 营收 116 亿美元,同比增长 1368%,Q2 运营利润 9.74 亿美元。H1 毛利率 85%,48% 的收入(约 78 亿美元)经 Bedrock、Vertex 和 Azure Marketplace 分销,2023 年该比例为 11%。公司累计融资 1411 亿美元,持有 1124 亿美元现金加 193 亿美元短期投资,SemiAnalysis 估算历史累计消耗约 97 亿美元。

    关注点

    Anthropic 的 S-1 披露了收入增速、毛利率与算力承诺,读者可据此看清头部模型公司的成本结构与渠道依赖。

  2. The Decoder 精选AI 评分88

    OpenAI 发布 GPT-6.1 Terra,API 价格减半且多项基准提升

    OpenAI 发布 GPT-6.1 Terra,API 输入 token 每百万 $1、输出 $5,均为 GPT-5.6 Terra 的一半,缓存输入降至每百万 $0.05。

    该模型已向 Plus、Pro、Enterprise、Edu 用户开放,可在 ChatGPT Work、Codex 和 API 中使用。Artificial Analysis 称其在最高推理强度下 Intelligence Index 比 GPT-5.6 Terra 高 6 分,单任务成本 $0.40 对 $1.40;在 Terminal-Bench 4.0 上最高推理强度解决 50.3% 任务,前代为 21.5%。

    关注点

    GPT-6.1 Terra 的 API 价格减半,同时多项基准提升,读者可据此比较它与 Claude Sonnet 5.5 等中端模型的成本与能力取舍。

  1. The Decoder 精选AI 评分82

    月之暗面发布 Kimi K3.1 Pro,Artificial Analysis 智能指数升至第四

    月之暗面发布 Kimi K3.1 Pro,这是 Kimi K3 的后训练版本,后训练算力显著增加。

    该模型在 Artificial Analysis 智能指数上得分 55,比 K3 提升 11 分,排名第四,仅次于 Claude Opus 5.5(58)、Claude Sonnet 5.5(56)和 Muse Wonder Full(56)。若按计划在 2026 年 11 月 4 日前开放权重,它将成为得分最高的开源权重模型,把开源与闭源模型的差距从 12 分缩小到 3 分。

    关注点

    Kimi K3.1 Pro 在智能体任务和终端操作上的提升,以及开源权重计划,为关注开源与闭源差距的读者提供了具体参照。

  1. The Verge · AI 精选AI 评分78

    微软称其 AI 诊断工具在诊断疾病上优于医生

    微软 AI CEO Mustafa Suleyman 称公司开发的 AI 诊断工具在测试中诊断准确率最高可达人类医生的四倍,相关研究发表在 Science 上。

    该工具名为 Diagnostic Orchestrator,由多个 AI 智能体协作推理症状与病史、决定检查项目并给出诊断,底层由 OpenAI 的 GPT-5 驱动。在取自《新英格兰医学杂志》数百份病例报告的测试中,该系统诊断准确率约 83%,使用参考资料的全科医生约 36%,不使用的约 22%;在波士顿 Beth Israel Deaconess 医疗中心急诊病例上准确率为 80%,人类医生平均 47%。微软将这些病例整理为自有基准 SDBench,并计划开源。

    关注点

    微软用多智能体系统在自有基准上对比人类医生,读者可了解其准确率差距与尚未做临床验证的边界。

  1. Hugging Face Blog 精选AI 评分62

    ALTK-Evolve 用学习记忆让 GPT-4.1 客服智能体登顶 τ²-bench

    IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为规则并追加到系统提示词,不更新模型权重。

    在 τ²-bench 客服基准上,使用 stock ReAct 脚手架的 GPT-4.1 智能体在零售域 Pass^4 从 57.5% 升至 67.5%,平均准确率从 78.1% 升至 82.5%;航空域 Pass^4 从 35.0% 升至 45.0%。

    关注点

    读者可看到不更新模型权重、仅靠提示词层学习记忆,就能把普通客服智能体推到基准榜首的具体做法与代价。

  1. The Decoder 精选AI 评分82

    GPT-6-Astra 在 50 道物理研究题中解出 49 道,平均每题不到 3 美元

    一项新基准测试让商用 AI 智能体在无人类提示下解答理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。

    Anthropic 的 Opus 5.5 在 Claude Code 中得分 92%,Google Gemini 3.8 Flash 为 68%,开源权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别为 54% 和 42%。题目覆盖理论物理 11 个子领域,刻意避开重大开放问题,聚焦对已知方法略作改动的常规计算。

    关注点

    读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源分配影响的判断。

  1. The Decoder 精选AI 评分78

    Google 发布 Gemini 4 Argon,用一个模型覆盖机器人全流程

    Google 发布 Gemini 4 Argon,定位为覆盖机器人全流程的单一模型,可控制机器人、构建虚拟练习环境并评估训练视频。

    演示中,它先在 MuJoCo 仿真里让 Boston Dynamics Spot 练习用踏板把易拉罐投进垃圾桶,再由两个额外 AI 智能体校验脚和夹爪位置,之后才在真机上执行。从一张桌面照片出发,Argon 生成 77 项任务和超过 4,500 条训练片段,使真机成功率从 56% 升至 75%,执行时间从 35 秒降至 24 秒。它还能根据遥操作录像、第一人称视频甚至圆珠笔草图搭建仿真,并指挥视频世界模型 Gemini Omni 逐步完成拼字任务。

    关注点

    Google 用同一模型打通机器人仿真、控制与数据评估,但示例提示词也暴露了人工脚手架的分量。

  1. Latent Space 精选AI 评分82

    Meta 发布 Muse Wonder 与 Muse Wonder Full 模型家族

    Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder 与 Muse Wonder Full,距该实验室成立约 14 个月。

    Wonder 通过 Meta Model API 和 Muse Code 提供,Full 仅面向 Muse Code 订阅用户;规格为 1M 上下文,输入支持文本、图像、视频和音频,输出仅文本,定价为每百万 token 输入 4 美元、缓存输入 0.20 美元、输出 20 美元。

    关注点

    汇总了 Meta 新模型的首发细节与多家第三方评测,可对照看它在智能体任务上的提升幅度和与 Opus 5.5 的差距。

  2. The Decoder 精选AI 评分78

    Meta 发布前沿模型 Muse Wonder 与 Muse Wonder Full

    Meta 发布前沿模型 Muse Wonder 的两个版本,Muse Wonder Full 在 Artificial Analysis Intelligence Index v4.3 上得 56 分,Muse Wonder 得 52 分,前代 Muse Spark 1.3 为 48 分。

    关注点

    Meta 新前沿模型在智能体与编码评测上大幅跃升,但事实知识与成本仍是短板,可据此判断其真实定位。

  1. Latent Space 精选AI 评分80

    Anthropic 发布 Claude Haiku 5.5,定价对齐 GPT-6 Luna

    Anthropic 发布 Claude Haiku 5.5,这是 Haiku 系列约一年来的首次更新,定价与 OpenAI 的 GPT-6 Luna 持平,同日还下调了 Sonnet 5.5 与订阅方案价格。

    关注点

    汇总了 Haiku 5.5 的定价、第三方评测与 token 消耗数据,便于判断小模型在智能体工作流中的成本取舍。

  1. Hugging Face Blog 精选AI 评分66

    Nemotron 微调后在 IOI 2026 与 IMO 2026 双双达到金牌水平

    英伟达团队从 Nemotron 3 出发,用 SFT、RL 和生成-验证-改进推理循环打造专用模型,在 IOI 2026 和 IMO 2026 均达到金牌水平。

    关注点

    原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方,包括数据规模与推理循环设计。

  1. GitHub Blog · AI & ML 精选AI 评分60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    关注点

    GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。

  1. Hugging Face Blog 精选AI 评分73

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,再根据终端后端状态和副作用而非生成文本打分,并让每个任务重复 20 次。

    关注点

    微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。

已经到底了