跳到正文

#评测/基准

10月30日周五
  1. Microsoft ResearchAI 评分36

    微软用合成企业数据评估 Microsoft Copilot 的 AI 置信度

    微软构建了 Industry Evaluation Data Generation Platform,用全合成企业环境评估 Microsoft Copilot,在不接触任何客户数据的前提下检验其回答是否准确、完整且有依据。

    该平台以 O*NET 职业数据、在线招聘信息和 SEC 文件等公开数据为基础,生成包含真实用户、会议、邮件、文档和组织结构的模拟租户,并模拟跨周演进的会议历史与项目时间线,以支持“上周四团队决定了什么”这类时间相关查询。平台还包含自动化查询生成流水线和结构化质量框架,并通过自动化内容安全检查确保生成数据不含有害或可识别个人身份的材料。

10月28日周三
  1. AWS Machine Learning BlogAI 评分38

    Property Finder 如何修正 Amazon Bedrock 上的评估偏差,选出更优视觉模型

    Property Finder 发现其评估数据集中 96.8% 的标签直接沿用了现有视觉语言模型的预测结果,而非人工核验,导致任何替代模型在比较中都处于结构性劣势。

    该团队在将视觉 AI 负载迁移到 Amazon Bedrock 上更具成本效益的方案时,改为由具备房地产领域知识的专家独立标注 356 张阿联酋图片,并将单标签分类改为多标签分类,以消除人为歧义。随后他们用 Micro F1 在 256 张专家标注的开发集上评分,通过从 v0 到 v27 的提示词迭代优化选择模型,最终在 Amazon Bedrock 上实现更高准确率、成本降低 86%。

  2. Hugging Face BlogAI 评分58

    Ai2 发布 Old Ideas, Novel Problems 研究:LLM 能否可靠判断研究想法的新颖性

    Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 作为“新颖性评判者”是否可靠。

    研究基于 ICLR 2026 评审意见构建两个数据集:154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only,另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。

10月21日周三
  1. Hugging Face BlogAI 评分48

    FairStress:更深入评估 LLM 决策中的公平性

    Hugging Face 推出 FairStress 基准,用于测量 LLM 在影响他人决策中超越最终选择的人口统计公平性,并已集成到其开源评测工作台 Olmo-eval。

    该基准包含 29 个领域(招聘、医疗、借贷、教育、住房、刑事司法等)的 300 个真实双候选人决策场景,通过变化身份呈现方式(无身份信息、人口统计编码姓名、间接暗示、显式标签)并加入对抗性前缀,将场景扩展为超过 1300 万个测试用例。团队另发布基于项目反应理论筛选的 5 万条 FairStress-Core 子集,以降低评测计算成本。

10月20日周二
  1. Hugging Face Blog 精选AI 评分62

    ALTK-Evolve 用学习记忆让 GPT-4.1 客服智能体登顶 τ²-bench

    IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为规则并追加到系统提示词,不更新模型权重。

    在 τ²-bench 客服基准上,使用 stock ReAct 脚手架的 GPT-4.1 智能体在零售域 Pass^4 从 57.5% 升至 67.5%,平均准确率从 78.1% 升至 82.5%;航空域 Pass^4 从 35.0% 升至 45.0%。

    关注点

    读者可看到不更新模型权重、仅靠提示词层学习记忆,就能把普通客服智能体推到基准榜首的具体做法与代价。

  2. OpenAI NewsAI 评分35

    OpenAI 如何提升 ChatGPT 在低资源编程语言上的编码能力

    OpenAI 正在改进 ChatGPT 对低资源编程语言的支持,并新增了面向软件工程、SQLite 和 COBOL 迁移的评测。

    此次更新聚焦于低资源编程语言场景下的编码能力提升,配套评测覆盖软件工程、SQLite 与 COBOL 迁移三个方向。原文未披露具体模型版本、参数规模、benchmark 分数或上线时间。

10月17日周六
  1. AWS Machine Learning BlogAI 评分36

    用 Amazon Bedrock AgentCore 构建 AI 智能体的生产级评估框架

    AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore 搭建了一套面向生产环境的多智能体持续质量评估框架,用于服务全球 AWS 现场销售。

    该框架以 AgentCore Evaluations 为核心,配合 Amazon Bedrock Guardrails、CloudWatch、S3、Redshift、Amazon Quick 和 Lambda,检查回答是否有据、正确,并追溯失败根因。

10月13日周二
  1. Microsoft ResearchAI 评分39

    微软 StudentSim:用个性化学生模拟器在真实学习者之前评估 AI 辅导

    微软研究院推出 StudentSim,一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导。

    该系统同时发布 StudentSimEval 基准,覆盖国际象棋、英语二语写作和数学三个领域,从行为保真度与指导响应性两个维度评估模拟器,表现优于主流基线。StudentSim 并非产品,不会部署到课堂,也不用于替代教师。

10月7日周三
  1. Microsoft ResearchAI 评分22

    Microsoft 研究员 Jennifer Neville 谈 AI 评测与意外失败

    Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。

    她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果超出预期时深入审视数据的重要性。

10月5日周一
  1. GitHub Blog · AI & ML 精选AI 评分60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    关注点

    GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。

10月4日周日
  1. Hugging Face Blog 精选AI 评分73

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,再根据终端后端状态和副作用而非生成文本打分,并让每个任务重复 20 次。

    关注点

    微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。

9月30日周三
8月20日周四
  1. Mistral AI 精选AI 评分71

    Mistral 发布 Agentic Search 检索层,FinanceBench 准确率从 26.7% 升至 86%

    Mistral 发布 Agentic Search,作为让 AI 系统在复杂文档中导航、阅读并核验信息的检索层,通过 Mistral Search Toolkit 和 Studio、Vibe 中的 Libraries 提供。

    关注点

    原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的边界。