跳到正文

#评测/基准

今天11月3日周二1 条
  1. The DecoderAI 评分65

    50 个 AI 智能体在 Minecraft 中自发形成官僚体系,GPT 与 Claude 对战 6-3 胜出

    研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界运行三小时,唯一指令是“建立繁荣文明”,智能体共交换约 5900 条消息。

    首个游戏夜晚出现 22 次死亡后,被推举为领袖的 Ada 下令停止主要建造与远距离探索,智能体转向配给管理和轮班钓鱼,四个智能体还花 11 分钟争论是否设立“唯一肥料官”。在 Minecraft Bed Wars 的九轮对战中,GPT-6.1 Sol 以 6-3 击败 Claude Opus 5.5;在 Mindustry 的七场对战中,Codex 环境下的 GPT 以 6-1 击败 Claude Code 环境下的 Claude。

11月2日周一
  1. The DecoderAI 评分58

    Vals 研究:中国 AI 模型政治倾向复杂,并非政府传声筒

    Vals.ai 的一项研究用 −1 到 +1 的量表衡量多个模型对中国政府立场的贴合度,发现中国模型的亲政府倾向整体低于预期,且模型之间差异明显。

    研究显示提示词语言影响显著,多数模型用简体中文回答时比用英文、俄文或西班牙文更亲政府,中美模型都有此现象,中国模型更明显。多数中国模型很少拒答敏感问题,而是直接采用官方立场,例如 Kimi K3 将新疆相关设施称为职业培训中心。回答格式改为是或否、把模型放进编码智能体框架或提供网页搜索权限时,亲政府得分都会下降,即使模型并未实际调用工具。研究还发现,在旅行应用国家代码翻译任务中,Qwen3.8 Max 将台湾译为 Taiwan, China。

10月30日周五
  1. Microsoft ResearchAI 评分36

    微软用合成企业数据评估 Microsoft Copilot 的 AI 置信度

    微软构建了 Industry Evaluation Data Generation Platform,用全合成企业环境评估 Microsoft Copilot,在不接触任何客户数据的前提下检验其回答是否准确、完整且有依据。

    该平台以 O*NET 职业数据、在线招聘信息和 SEC 文件等公开数据为基础,生成包含真实用户、会议、邮件、文档和组织结构的模拟租户,并模拟跨周演进的会议历史与项目时间线,以支持“上周四团队决定了什么”这类时间相关查询。平台还包含自动化查询生成流水线和结构化质量框架,并通过自动化内容安全检查确保生成数据不含有害或可识别个人身份的材料。

10月29日周四
  1. Latent Space 精选AI 评分80

    Google DeepMind 发布 Gemini 4 Carbon,登顶多个榜单并面向网络安全防御者开放

    Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,称其在网络安全和长周期任务上达到 SOTA,并以 59 分位列 Artificial Analysis Intelligence Index v5 第一。

    官方称其在 SEC-bench Pro 漏洞发现上得 88.2%、ExploitGym 利用上得 54.8%、CWE-bench 修补上得 71.0%,模型支持 1M token 上下文,输入覆盖文本、图像、视频和语音,输出为文本。

    关注点

    汇总了 Gemini 4 Carbon 在多个独立榜单的排名与定价,并列出仅限网络安全防御者使用的准入限制。

  2. The Decoder同新闻AI 评分88

    Google DeepMind 发布 Gemini 4 Carbon,距 Argon 仅两周

    Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分登顶,前代 Argon 为 50 分。

    Google 称 Carbon 面向需要持续智能体工作流的长时间工程问题,内部团队曾连续运行数天,用于大型代码库的根因分析和缺陷修复。第三方评测显示,Carbon 在 Antigravity 的智能体编码上仍落后 Claude Code 搭配的 Opus 5.5 三分;在 AA-Briefcase 智能体知识工作上达到 1,609 Elo,但低于 Kimi K3.1 Pro 等模型。

    同一新闻,精选展示《Google DeepMind 发布 Gemini 4 Carbon 模型》

  3. The DecoderAI 评分72

    Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe,整合转写、翻译与说话人识别

    Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe,可用文本指令控制,支持 40 种语言转写、31 种语言与英语互译,并在 13 种语言中识别说话人。

    模型总参数 30B、每步约 4B 激活,可在单张 Nvidia GPU 上运行,最长处理一小时录音、最多 8 位说话人。Nvidia 称其在 Hugging Face 英语 Open ASR 榜单开源权重模型中排名第一,平均词错误率 5.33%;在 Artificial Analysis 对比中为 2.81%,接近更大的 Voxtral Small 的 2.77%。

10月28日周三
  1. The DecoderAI 评分58

    Artificial Analysis 改版 Intelligence Index,开源与闭源模型差距扩大

    Artificial Analysis 改版 Intelligence Index 后,Kimi K3.1 Pro 从第 4 名降至第 9 名,排在 8 个闭源模型之后。

    新指数中开源模型与榜首的差距从 3 分扩大到 12 分,Grok 4.7 也下降了 12 分。改版后 60% 的指数权重来自私有测试集,用于防止针对已知测试题训练的 benchmaxxing。AI 研究员 Nathan Lambert 认为,benchmaxxing 只是一部分原因,许多训练收益来自与基准任务相似的强化学习环境,而同时维持多领域水平需要复杂的 RL 基础设施。

  2. AWS Machine Learning BlogAI 评分38

    Property Finder 如何修正 Amazon Bedrock 上的评估偏差,选出更优视觉模型

    Property Finder 发现其评估数据集中 96.8% 的标签直接沿用了现有视觉语言模型的预测结果,而非人工核验,导致任何替代模型在比较中都处于结构性劣势。

    该团队在将视觉 AI 负载迁移到 Amazon Bedrock 上更具成本效益的方案时,改为由具备房地产领域知识的专家独立标注 356 张阿联酋图片,并将单标签分类改为多标签分类,以消除人为歧义。随后他们用 Micro F1 在 256 张专家标注的开发集上评分,通过从 v0 到 v27 的提示词迭代优化选择模型,最终在 Amazon Bedrock 上实现更高准确率、成本降低 86%。

  3. Hugging Face BlogAI 评分58

    Ai2 发布 Old Ideas, Novel Problems 研究:LLM 能否可靠判断研究想法的新颖性

    Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 作为“新颖性评判者”是否可靠。

    研究基于 ICLR 2026 评审意见构建两个数据集:154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only,另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。

10月27日周二
  1. Latent Space 精选AI 评分88

    Anthropic 提交 S-1 拟登陆纳斯达克,H1 2026 营收 163 亿美元、Q2 运营利润 9.74 亿美元

    Anthropic 于周一公开提交 S-1,计划以代码 ANT 在纳斯达克上市。

    2026 年上半年营收 163 亿美元,2023 年为 4100 万美元;仅 Q2 营收 116 亿美元,同比增长 1368%,Q2 运营利润 9.74 亿美元。H1 毛利率 85%,48% 的收入(约 78 亿美元)经 Bedrock、Vertex 和 Azure Marketplace 分销,2023 年该比例为 11%。公司累计融资 1411 亿美元,持有 1124 亿美元现金加 193 亿美元短期投资,SemiAnalysis 估算历史累计消耗约 97 亿美元。

    关注点

    Anthropic 的 S-1 披露了收入增速、毛利率与算力承诺,读者可据此看清头部模型公司的成本结构与渠道依赖。

  2. The Decoder同新闻AI 评分88

    OpenAI 发布 GPT-6.1 Terra,API 价格减半且多项基准提升

    OpenAI 发布 GPT-6.1 Terra,API 输入 token 每百万 $1、输出 $5,均为 GPT-5.6 Terra 的一半,缓存输入降至每百万 $0.05。

    该模型已向 Plus、Pro、Enterprise、Edu 用户开放,可在 ChatGPT Work、Codex 和 API 中使用。Artificial Analysis 称其在最高推理强度下 Intelligence Index 比 GPT-5.6 Terra 高 6 分,单任务成本 $0.40 对 $1.40;在 Terminal-Bench 4.0 上最高推理强度解决 50.3% 任务,前代为 21.5%。

    同一新闻,精选展示《OpenAI 发布 GPT-6.1 Terra》

10月25日周日
  1. The DecoderAI 评分62

    Anthropic 联合创始人 Jack Clark 将自我改进 AI 预测提前至 2027 年

    Anthropic 联合创始人 Jack Clark 把递归自我改进(RSI)可能出现的时间从 2028 年提前到 2027 年,依据之一是 P-Zero Research 的新基准 TasteVal。

    TasteVal 用 8 个 AI 模型开发任务测试模型选择实验和解读结果的能力,研究目标已预先给定,不考察选题;实验由固定编码智能体在单张 Nvidia H100 上运行,每次上限 40 GPU 小时或 120 小时实际时间,人类基线来自 24 位曾在 OpenAI、Google DeepMind、Nvidia 和 Microsoft Research 工作的专家。

10月24日周六
  1. The DecoderAI 评分62

    研究发现复杂编码智能体框架只增加成本不提升效果

    一项研究对比 Claude Code、OpenCode 和 mini-SWE-agent 三个编码智能体框架,发现框架切换带来的成绩变化与同一配置重跑一次的波动相当。

    研究用 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型在 SWE-bench Verified 的 45 个最难任务及 447 个任务池上测试,同一配置重跑成绩可差 6 分,换框架时任务级结果翻转率同为 13%,换模型则升至 22%。唯一显著差异是 OpenCode 在大任务池落后最多 9 分,约一半源于输出超限后不续写。

  2. The Decoder 精选AI 评分82

    月之暗面发布 Kimi K3.1 Pro,Artificial Analysis 智能指数升至第四

    月之暗面发布 Kimi K3.1 Pro,这是 Kimi K3 的后训练版本,后训练算力显著增加。

    该模型在 Artificial Analysis 智能指数上得分 55,比 K3 提升 11 分,排名第四,仅次于 Claude Opus 5.5(58)、Claude Sonnet 5.5(56)和 Muse Wonder Full(56)。若按计划在 2026 年 11 月 4 日前开放权重,它将成为得分最高的开源权重模型,把开源与闭源模型的差距从 12 分缩小到 3 分。

    关注点

    Kimi K3.1 Pro 在智能体任务和终端操作上的提升,以及开源权重计划,为关注开源与闭源差距的读者提供了具体参照。

10月23日周五
  1. The Verge · AI 精选AI 评分78

    微软称其 AI 诊断工具在诊断疾病上优于医生

    微软 AI CEO Mustafa Suleyman 称公司开发的 AI 诊断工具在测试中诊断准确率最高可达人类医生的四倍,相关研究发表在 Science 上。

    该工具名为 Diagnostic Orchestrator,由多个 AI 智能体协作推理症状与病史、决定检查项目并给出诊断,底层由 OpenAI 的 GPT-5 驱动。在取自《新英格兰医学杂志》数百份病例报告的测试中,该系统诊断准确率约 83%,使用参考资料的全科医生约 36%,不使用的约 22%;在波士顿 Beth Israel Deaconess 医疗中心急诊病例上准确率为 80%,人类医生平均 47%。微软将这些病例整理为自有基准 SDBench,并计划开源。

    关注点

    微软用多智能体系统在自有基准上对比人类医生,读者可了解其准确率差距与尚未做临床验证的边界。

10月21日周三
  1. The DecoderAI 评分74

    OpenAI 称 GPT-6 在 COBOL、Fortran 等遗留编程语言上表现大幅提升

    OpenAI 表示其最新模型针对 COBOL、Fortran、Visual Basic 等训练代码稀缺的“低资源”语言做了改进,并构建了两个评测来衡量进展。

    MultiLangBench 要求模型从零构建兼容 SQLite 的数据库引擎,在 20 种语言上,GPT-6 Astra 在最高推理强度下平均测试通过率为 87.4%,GPT-5.6 Terra 约为 38%;GPT-6 Luna 为 40.3%,略高于 GPT-5.6 Terra 的 37.9%,但成本低得多。

  2. Ethan Mollick · One Useful ThingAI 评分40

    30 个月指数级增长:AI 能力、价格与工作方式的变化(图表)

    Ethan Mollick 在 Co-Intelligence 发布 30 个月后推出第二本 AI 著作 Co-Existence,并用图表回顾这段 AI 进展。

    他借助 Claude Projects 中的 Opus 5.5 编排多个智能体,几分钟内完成过去需数小时的研究、绘图、排版与配图工作,AI 还纠正了他的计算错误。自 GPT-4 之后,已有 20 个模型先后登顶最强,180 个模型在发布时强于 GPT-4,其中 19 个可在现代智能手机上运行。

  3. Hugging Face BlogAI 评分48

    FairStress:更深入评估 LLM 决策中的公平性

    Hugging Face 推出 FairStress 基准,用于测量 LLM 在影响他人决策中超越最终选择的人口统计公平性,并已集成到其开源评测工作台 Olmo-eval。

    该基准包含 29 个领域(招聘、医疗、借贷、教育、住房、刑事司法等)的 300 个真实双候选人决策场景,通过变化身份呈现方式(无身份信息、人口统计编码姓名、间接暗示、显式标签)并加入对抗性前缀,将场景扩展为超过 1300 万个测试用例。团队另发布基于项目反应理论筛选的 5 万条 FairStress-Core 子集,以降低评测计算成本。

10月20日周二
  1. Hugging Face Blog 精选AI 评分62

    ALTK-Evolve 用学习记忆让 GPT-4.1 客服智能体登顶 τ²-bench

    IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为规则并追加到系统提示词,不更新模型权重。

    在 τ²-bench 客服基准上,使用 stock ReAct 脚手架的 GPT-4.1 智能体在零售域 Pass^4 从 57.5% 升至 67.5%,平均准确率从 78.1% 升至 82.5%;航空域 Pass^4 从 35.0% 升至 45.0%。

    关注点

    读者可看到不更新模型权重、仅靠提示词层学习记忆,就能把普通客服智能体推到基准榜首的具体做法与代价。

  2. TechCrunch · AIAI 评分38

    Hugging Face 政策负责人:嵌入式 AI 评估器并非易事

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器不会是一个简单的解决方案。

    她认为评估仍是一门演进中的科学,结果可复现性是信任的关键,而开放权重能大幅提升所需访问权限。当前评估之间难以有效比较,且会较快失效,评估器生态也不够繁荣,谁有资格评估哪些任务亟需标准化。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统,较弱的模型配上更好的 harness 也可能胜过前沿模型;智能体评估难度大、成本高,针对 harness 的评估仍然偏少。

  3. OpenAI NewsAI 评分35

    OpenAI 如何提升 ChatGPT 在低资源编程语言上的编码能力

    OpenAI 正在改进 ChatGPT 对低资源编程语言的支持,并新增了面向软件工程、SQLite 和 COBOL 迁移的评测。

    此次更新聚焦于低资源编程语言场景下的编码能力提升,配套评测覆盖软件工程、SQLite 与 COBOL 迁移三个方向。原文未披露具体模型版本、参数规模、benchmark 分数或上线时间。

10月18日周日
  1. The DecoderAI 评分58

    新基准 Taste-Bench 评测 AI 智能体长期决策品味

    研究者提出 Taste-Bench,用“决策分叉”评测智能体在长期任务中做出高质量选择的能力。

    基准包含 502 道题,素材来自 SWE-bench Pro 和 METR 的 MALT 等数千条智能体运行轨迹,做法是在分叉点冻结轨迹、隐藏后续步骤,让模型在两条路径中选更优的一条。测试 14 个模型(Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 家族),每题正反顺序各问一次、两次都对才计分,纯猜为 25%;最好的 GPT-5.6 Sol 平均 59.7%,GPT-5.5 为 59.5%,其余明显更低。

10月17日周六
  1. AWS Machine Learning BlogAI 评分36

    用 Amazon Bedrock AgentCore 构建 AI 智能体的生产级评估框架

    AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore 搭建了一套面向生产环境的多智能体持续质量评估框架,用于服务全球 AWS 现场销售。

    该框架以 AgentCore Evaluations 为核心,配合 Amazon Bedrock Guardrails、CloudWatch、S3、Redshift、Amazon Quick 和 Lambda,检查回答是否有据、正确,并追溯失败根因。

10月16日周五
  1. The Verge · AIAI 评分62

    RTX Spark 笔记本一周实测:游戏、续航与本地 AI 表现如何

    The Verge 三位作者用一周时间实测五台搭载 Nvidia RTX Spark N1X 的 Windows on Arm 笔记本,覆盖 Asus ProArt P16、HP OmniBook Ultra、Lenovo Yoga 9n 和 Surface Laptop Ultra,售价从 3199.99 美元到 6999.99 美元。游戏方面,中画质加 DLSS 性能模式在多数游戏中可稳定 60fps,但 Helldivers 2、Star Wars Zero Company 等 CPU 受限场景帧率会掉到 37 至 39fps。

  2. The DecoderAI 评分74

    Google Gemini 4 Argon 在 ARC-AGI-3 得分 97.5%,但测试方法影响巨大

    Google DeepMind 新前沿模型 Gemini 4 Argon 在 ARC-AGI-3 上以 97.5% 的成绩成为继 OpenAI 之后第二家跨过 95% 门槛的实验室,测试成本 4800 美元,使用的是包含保留推理和上下文压缩等厂商专属功能的 Provider Adapter Harness。在仅允许简单笔记的 Standard Harness 下,低推理档位得分降至 49.8%,成本 5800 美元,且因 API 问题未能完成全部 55 个游戏。在 25 个公开游戏中,Argon 所需操作比人类基线少 62%,在三个游戏中追平或打破速通纪录。

  3. The Decoder同新闻AI 评分78

    Google 发布 Gemini 4 Argon,用一个模型覆盖机器人全流程

    Google 发布 Gemini 4 Argon,定位为覆盖机器人全流程的单一模型,可控制机器人、构建虚拟练习环境并评估训练视频。

    演示中,它先在 MuJoCo 仿真里让 Boston Dynamics Spot 练习用踏板把易拉罐投进垃圾桶,再由两个额外 AI 智能体校验脚和夹爪位置,之后才在真机上执行。从一张桌面照片出发,Argon 生成 77 项任务和超过 4,500 条训练片段,使真机成功率从 56% 升至 75%,执行时间从 35 秒降至 24 秒。它还能根据遥操作录像、第一人称视频甚至圆珠笔草图搭建仿真,并指挥视频世界模型 Gemini Omni 逐步完成拼字任务。

    同一新闻,精选展示《Google DeepMind 发布 Gemini 4 Argon 机器人模型》

  4. The Decoder 精选AI 评分82

    GPT-6-Astra 在 50 道物理研究题中解出 49 道,平均每题不到 3 美元

    一项新基准测试让商用 AI 智能体在无人类提示下解答理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。

    Anthropic 的 Opus 5.5 在 Claude Code 中得分 92%,Google Gemini 3.8 Flash 为 68%,开源权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别为 54% 和 42%。题目覆盖理论物理 11 个子领域,刻意避开重大开放问题,聚焦对已知方法略作改动的常规计算。

    关注点

    读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源分配影响的判断。

10月14日周三
  1. Latent SpaceAI 评分75

    AINews 汇总:Gemini 4 Argon 正式开放,Vals AI 谈基准方法

    Google 的 Gemini 4 Argon 正式开放,覆盖编码、知识工作、企业流程与网络防御场景,可通过付费 Gemini API 与 Gemini 平台使用,Gemini 应用中的 Google AI Pro 和 Ultra 以及搜索 AI Mode 也可调用。

    入门 API 价格为每百万输入/输出 token 2 美元/10 美元,缓存输入折扣 95%,Artificial Analysis 称 11 月 30 日后价格将翻倍至 4 美元/20 美元。Google 自报 Argon 帮助把六百万行的 Chromium 遗留目录拆分,并称智能体代码提交量增加 35%、回滚减少近三分之一,这些是内部部署数据而非受控测量。

10月13日周二
  1. Latent Space 精选AI 评分82

    Meta 发布 Muse Wonder 与 Muse Wonder Full 模型家族

    Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder 与 Muse Wonder Full,距该实验室成立约 14 个月。

    Wonder 通过 Meta Model API 和 Muse Code 提供,Full 仅面向 Muse Code 订阅用户;规格为 1M 上下文,输入支持文本、图像、视频和音频,输出仅文本,定价为每百万 token 输入 4 美元、缓存输入 0.20 美元、输出 20 美元。

    关注点

    汇总了 Meta 新模型的首发细节与多家第三方评测,可对照看它在智能体任务上的提升幅度和与 Opus 5.5 的差距。

  2. Microsoft ResearchAI 评分39

    微软 StudentSim:用个性化学生模拟器在真实学习者之前评估 AI 辅导

    微软研究院推出 StudentSim,一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导。

    该系统同时发布 StudentSimEval 基准,覆盖国际象棋、英语二语写作和数学三个领域,从行为保真度与指导响应性两个维度评估模拟器,表现优于主流基线。StudentSim 并非产品,不会部署到课堂,也不用于替代教师。

10月11日周日
10月10日周六
10月8日周四
10月7日周三
  1. Microsoft ResearchAI 评分22

    Microsoft 研究员 Jennifer Neville 谈 AI 评测与意外失败

    Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。

    她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果超出预期时深入审视数据的重要性。

10月5日周一
  1. GitHub Blog · AI & ML 精选AI 评分60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    关注点

    GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。