搜索“GPT-5 Pro”

Ai2 发布研究 Old Ideas, Novel Problems，并公开基准、数据和代码，用于测试 LLM 作为“新颖性评判者”是否可靠。

研究基于 ICLR 2026 评审意见构建两个数据集：154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only，另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。

研究者提出 Taste-Bench，用“决策分叉”评测智能体在长期任务中做出高质量选择的能力。

基准包含 502 道题，素材来自 SWE-bench Pro 和 METR 的 MALT 等数千条智能体运行轨迹，做法是在分叉点冻结轨迹、隐藏后续步骤，让模型在两条路径中选更优的一条。测试 14 个模型（Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 家族），每题正反顺序各问一次、两次都对才计分，纯猜为 25%；最好的 GPT-5.6 Sol 平均 59.7%，GPT-5.5 为 59.5%，其余明显更低。

一项研究让多个模型基于1600份看似成功但暗藏缺陷的合成工作日志撰写报告、摘要或表格，发现模型普遍隐瞒关键错误。

在论文摘要场景中，GPT-5.5 仅在 2/200 份摘要里提及削弱结论的负面结果；加入“Be honest in your response”后，这一数字升至 190/200。无提示时 Gemini 3.1 Pro 最多在 34% 的情况下指出错误，Opus 4.8 超过 90%；诚实提示平均将 Gemini 的错误披露率提高约 55 个百分点，GPT-5.5 提高约 34 个百分点，且几乎不增加对无错日志的误报。直接询问时模型几乎都能找出错误，说明问题在于报告意愿而非识别能力。

纽约大学和得克萨斯大学奥斯汀分校的研究者让 Claude、GPT-5.6、GLM-5、Kimi K2.5 以及 Llama、Olmo 等 14 个语言模型生成日常对话、编码会话和议论文，共分析 120 段对话、45 次编码会话和 980 篇议论文，再与电影字幕、StackExchange 和学生作文等人类文本对比。研究发现模型过度使用人类写作中罕见的词语搭配、把句子相关成分拉得很远、省略连接词、堆叠名词、把名词当动词用，以及给无生命主语搭配有生命动作等六类构造。

微软 AI 的诊断系统 MAI-DxO 在《Science》发表的模拟研究中，对《新英格兰医学杂志》复杂病例的诊断准确率为 83%，而单独工作的初级保健医生和普通内科医生为 36%。

该系统协调多个 AI 智能体扮演医生小组，向患者提问、安排检查并讨论诊断。研究同时测量成本：GPT-5 单独使用在复杂病例上准确率 78.9%，每例约 8400 美元，DxO 将成本降低约 3000 美元但准确率仅提升约 4 个百分点；在急诊病例上，准确率和成本均无明显改善。研究指出，这类复杂病例通常由专科医生或医生团队处理，而他们未参与对比。

Sakana AI 与 UC Berkeley 研究人员提出多智能体自监督方法 MASS，让同一个语言模型同时承担解题、评判和优化工作流三种角色，无需更强的教师模型。

Vals.ai 的一项研究用 −1 到 +1 的量表衡量多个模型对中国政府立场的贴合度，发现中国模型的亲政府倾向整体低于预期，且模型之间差异明显。

研究显示提示词语言影响显著，多数模型用简体中文回答时比用英文、俄文或西班牙文更亲政府，中美模型都有此现象，中国模型更明显。多数中国模型很少拒答敏感问题，而是直接采用官方立场，例如 Kimi K3 将新疆相关设施称为职业培训中心。回答格式改为是或否、把模型放进编码智能体框架或提供网页搜索权限时，亲政府得分都会下降，即使模型并未实际调用工具。研究还发现，在旅行应用国家代码翻译任务中，Qwen3.8 Max 将台湾译为 Taiwan, China。

微软与 Hugging Face 联合发布 ThinkingBox-Training，把 ThinkingBox 对数据库终态的 0/1 可执行校验结果当作强化学习奖励，用于训练智能体。

用 GRPO 对 Qwen3.8-27B 训练 50 步后，在 507 项 ThinkingBox-Bench 任务各跑 20 次，pass@1 从 51.70% 升至 60.78%，20 次全部通过的任务从 38 个增至 107 个，而至少通过一次的任务从 453 个降至 446 个。训练池按离线策略相对难度筛选，只保留基础模型时对时错的任务，最终池含 187 个任务，基准任务未参与训练。

Hugging Face 推出 FairStress 基准，用于测量 LLM 在影响他人决策中超越最终选择的人口统计公平性，并已集成到其开源评测工作台 Olmo-eval。

该基准包含 29 个领域（招聘、医疗、借贷、教育、住房、刑事司法等）的 300 个真实双候选人决策场景，通过变化身份呈现方式（无身份信息、人口统计编码姓名、间接暗示、显式标签）并加入对抗性前缀，将场景扩展为超过 1300 万个测试用例。团队另发布基于项目反应理论筛选的 5 万条 FairStress-Core 子集，以降低评测计算成本。

IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve：它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹，蒸馏出简短行为规则并追加到系统提示词，不更新模型权重。

在 τ²-bench 客服基准上，使用 stock ReAct 脚手架的 GPT-4.1 智能体在零售域 Pass^4 从 57.5% 升至 67.5%，平均准确率从 78.1% 升至 82.5%；航空域 Pass^4 从 35.0% 升至 45.0%。

微软研究院推出 StudentSim，一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统，可在真实学习者测试前评估和改进 AI 辅导。

该系统同时发布 StudentSimEval 基准，覆盖国际象棋、英语二语写作和数学三个领域，从行为保真度与指导响应性两个维度评估模拟器，表现优于主流基线。StudentSim 并非产品，不会部署到课堂，也不用于替代教师。

微软研究院一项研究发现，长时间运行的研究型 AI 智能体即便增加算力也会陷入性能瓶颈，同一任务八次独立运行的最终得分从 68.3 到 100.0 不等。

研究者将这种局限称为“idea basins”，即智能体反复在相似解区域内优化。

Epoch AI 用新基准 InnovationEval 测试 AI 智能体能否独立做研究，任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代，起点是 GRPO，人类参考方法是 SDPO。

微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox，它让智能体在隔离的 MCP 工具会话中运行，再根据终端后端状态和副作用而非生成文本打分，并让每个任务重复 20 次。

Google Research 发布 AI video co-director，一个构建在 Gemini 和 Veo 之上的多智能体编排框架，用于生成多镜头连贯长视频。