跳到正文

搜索“Claude Sonnet 4”

找到 5 条 · 更新于 23:40
10月20日周二
  1. Hugging Face Blog 精选AI 评分62

    ALTK-Evolve 用学习记忆让 GPT-4.1 客服智能体登顶 τ²-bench

    IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为规则并追加到系统提示词,不更新模型权重。

    在 τ²-bench 客服基准上,使用 stock ReAct 脚手架的 GPT-4.1 智能体在零售域 Pass^4 从 57.5% 升至 67.5%,平均准确率从 78.1% 升至 82.5%;航空域 Pass^4 从 35.0% 升至 45.0%。

    关注点

    读者可看到不更新模型权重、仅靠提示词层学习记忆,就能把普通客服智能体推到基准榜首的具体做法与代价。

10月28日周三
  1. Hugging Face BlogAI 评分58

    Ai2 发布 Old Ideas, Novel Problems 研究:LLM 能否可靠判断研究想法的新颖性

    Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 作为“新颖性评判者”是否可靠。

    研究基于 ICLR 2026 评审意见构建两个数据集:154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only,另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。

10月23日周五
  1. Hugging Face Blog 精选AI 评分60

    微软与 Hugging Face 用 ThinkingBox 数据库校验结果作 RL 奖励训练智能体

    微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 0/1 可执行校验结果当作强化学习奖励,用于训练智能体。

    用 GRPO 对 Qwen3.8-27B 训练 50 步后,在 507 项 ThinkingBox-Bench 任务各跑 20 次,pass@1 从 51.70% 升至 60.78%,20 次全部通过的任务从 38 个增至 107 个,而至少通过一次的任务从 453 个降至 446 个。训练池按离线策略相对难度筛选,只保留基础模型时对时错的任务,最终池含 187 个任务,基准任务未参与训练。

    关注点

    微软与 Hugging Face 把数据库终态校验直接当作强化学习奖励,并公开了任务筛选与训练代码,读者可据此判断这类奖励能否迁移到自己的智能体训练。

10月5日周一
  1. GitHub Blog · AI & ML 精选AI 评分60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    关注点

    GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。

10月4日周日
  1. Hugging Face Blog 精选AI 评分73

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,再根据终端后端状态和副作用而非生成文本打分,并让每个任务重复 20 次。

    关注点

    微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。