跳到正文

#评测/基准

重要进展,按时间持续更新

阅读日报
  1. Hugging Face Blog 精选AI 评分62

    ALTK-Evolve 用学习记忆让 GPT-4.1 客服智能体登顶 τ²-bench

    IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为规则并追加到系统提示词,不更新模型权重。

    在 τ²-bench 客服基准上,使用 stock ReAct 脚手架的 GPT-4.1 智能体在零售域 Pass^4 从 57.5% 升至 67.5%,平均准确率从 78.1% 升至 82.5%;航空域 Pass^4 从 35.0% 升至 45.0%。

    图片来源:Hugging Face Blog
    关注点

    读者可看到不更新模型权重、仅靠提示词层学习记忆,就能把普通客服智能体推到基准榜首的具体做法与代价。

  1. Hugging Face Blog 精选AI 评分66

    Nemotron 微调后在 IOI 2026 与 IMO 2026 双双达到金牌水平

    英伟达团队从 Nemotron 3 出发,用 SFT、RL 和生成-验证-改进推理循环打造专用模型,在 IOI 2026 和 IMO 2026 均达到金牌水平。

    关注点

    原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方,包括数据规模与推理循环设计。

  1. GitHub Blog · AI & ML 精选AI 评分60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    关注点

    GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。

  1. Hugging Face Blog 精选AI 评分73

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,再根据终端后端状态和副作用而非生成文本打分,并让每个任务重复 20 次。

    关注点

    微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。

已经到底了