Ai2 发布 Old Ideas, Novel Problems 研究:LLM 能否可靠判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 作为“新颖性评判者”是否可靠。
研究基于 ICLR 2026 评审意见构建两个数据集:154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only,另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。
Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 作为“新颖性评判者”是否可靠。
研究基于 ICLR 2026 评审意见构建两个数据集:154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only,另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。
加拿大区域的 Amazon Bedrock 用户现可通过跨区域推理(CRIS)访问 OpenAI GPT-6.1 Sol、GPT-6(Astra、Sol、Luna)和 GPT-5.6(Sol、Terra、Luna),源区域为 Canada (Central) 与 Canada West (Calgary),推理在北美境内处理。这些模型支持文本与图像输入、100 万 token 上下文窗口、推理模式和工具调用,并支持提示词缓存,可通过 OpenAI Responses API、Chat Completions API 和 Amazon Bedrock Converse API 调用。
微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 0/1 可执行校验结果当作强化学习奖励,用于训练智能体。
用 GRPO 对 Qwen3.8-27B 训练 50 步后,在 507 项 ThinkingBox-Bench 任务各跑 20 次,pass@1 从 51.70% 升至 60.78%,20 次全部通过的任务从 38 个增至 107 个,而至少通过一次的任务从 453 个降至 446 个。训练池按离线策略相对难度筛选,只保留基础模型时对时错的任务,最终池含 187 个任务,基准任务未参与训练。
微软与 Hugging Face 把数据库终态校验直接当作强化学习奖励,并公开了任务筛选与训练代码,读者可据此判断这类奖励能否迁移到自己的智能体训练。
Hugging Face 推出 FairStress 基准,用于测量 LLM 在影响他人决策中超越最终选择的人口统计公平性,并已集成到其开源评测工作台 Olmo-eval。
该基准包含 29 个领域(招聘、医疗、借贷、教育、住房、刑事司法等)的 300 个真实双候选人决策场景,通过变化身份呈现方式(无身份信息、人口统计编码姓名、间接暗示、显式标签)并加入对抗性前缀,将场景扩展为超过 1300 万个测试用例。团队另发布基于项目反应理论筛选的 5 万条 FairStress-Core 子集,以降低评测计算成本。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为规则并追加到系统提示词,不更新模型权重。
在 τ²-bench 客服基准上,使用 stock ReAct 脚手架的 GPT-4.1 智能体在零售域 Pass^4 从 57.5% 升至 67.5%,平均准确率从 78.1% 升至 82.5%;航空域 Pass^4 从 35.0% 升至 45.0%。
读者可看到不更新模型权重、仅靠提示词层学习记忆,就能把普通客服智能体推到基准榜首的具体做法与代价。
微软研究院推出 StudentSim,一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导。
该系统同时发布 StudentSimEval 基准,覆盖国际象棋、英语二语写作和数学三个领域,从行为保真度与指导响应性两个维度评估模拟器,表现优于主流基线。StudentSim 并非产品,不会部署到课堂,也不用于替代教师。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,再根据终端后端状态和副作用而非生成文本打分,并让每个任务重复 20 次。
微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。
GitHub Copilot 提出用 canvas 替代聊天框作为与 AI 协作的主要界面:canvas 是运行在 GitHub Copilot 应用内的全栈小应用,可与 agent 双向通信,也能调用第三方 API 或在本地执行代码。
Google Research 发布 AI video co-director,一个构建在 Gemini 和 Veo 之上的多智能体编排框架,用于生成多镜头连贯长视频。
Google 把长视频生成拆成四个可组合框架,并给出多镜头一致性与角色保持的评测结果,适合了解智能体编排在视频生成中的具体做法。