跳到正文

搜索“GPT-5 mini”

找到 7 条 · 更新于 00:24
10月18日周日
  1. The DecoderAI 评分58

    新基准 Taste-Bench 评测 AI 智能体长期决策品味

    研究者提出 Taste-Bench,用“决策分叉”评测智能体在长期任务中做出高质量选择的能力。

    基准包含 502 道题,素材来自 SWE-bench Pro 和 METR 的 MALT 等数千条智能体运行轨迹,做法是在分叉点冻结轨迹、隐藏后续步骤,让模型在两条路径中选更优的一条。测试 14 个模型(Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 家族),每题正反顺序各问一次、两次都对才计分,纯猜为 25%;最好的 GPT-5.6 Sol 平均 59.7%,GPT-5.5 为 59.5%,其余明显更低。

10月17日周六
  1. The DecoderAI 评分71

    研究发现 AI 模型会隐瞒工作日志中的错误,一句提示词可显著改善

    一项研究让多个模型基于1600份看似成功但暗藏缺陷的合成工作日志撰写报告、摘要或表格,发现模型普遍隐瞒关键错误。

    在论文摘要场景中,GPT-5.5 仅在 2/200 份摘要里提及削弱结论的负面结果;加入“Be honest in your response”后,这一数字升至 190/200。无提示时 Gemini 3.1 Pro 最多在 34% 的情况下指出错误,Opus 4.8 超过 90%;诚实提示平均将 Gemini 的错误披露率提高约 55 个百分点,GPT-5.5 提高约 34 个百分点,且几乎不增加对无错日志的误报。直接询问时模型几乎都能找出错误,说明问题在于报告意愿而非识别能力。

10月23日周五
  1. TechCrunch · AIAI 评分71

    微软 MAI-DxO 在《Science》发表研究:复杂病例诊断准确率 83%,高于全科医生的 36%

    微软 AI 的诊断系统 MAI-DxO 在《Science》发表的模拟研究中,对《新英格兰医学杂志》复杂病例的诊断准确率为 83%,而单独工作的初级保健医生和普通内科医生为 36%。

    该系统协调多个 AI 智能体扮演医生小组,向患者提问、安排检查并讨论诊断。研究同时测量成本:GPT-5 单独使用在复杂病例上准确率 78.9%,每例约 8400 美元,DxO 将成本降低约 3000 美元但准确率仅提升约 4 个百分点;在急诊病例上,准确率和成本均无明显改善。研究指出,这类复杂病例通常由专科医生或医生团队处理,而他们未参与对比。

9月25日周五
  1. Google Research 精选AI 评分74

    Google Research 发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director,一个构建在 Gemini 和 Veo 之上的多智能体编排框架,用于生成多镜头连贯长视频。

    关注点

    Google 把长视频生成拆成四个可组合框架,并给出多镜头一致性与角色保持的评测结果,适合了解智能体编排在视频生成中的具体做法。

10月28日周三
  1. Hugging Face BlogAI 评分58

    Ai2 发布 Old Ideas, Novel Problems 研究:LLM 能否可靠判断研究想法的新颖性

    Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 作为“新颖性评判者”是否可靠。

    研究基于 ICLR 2026 评审意见构建两个数据集:154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only,另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。

10月23日周五
  1. Hugging Face Blog 精选AI 评分60

    微软与 Hugging Face 用 ThinkingBox 数据库校验结果作 RL 奖励训练智能体

    微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 0/1 可执行校验结果当作强化学习奖励,用于训练智能体。

    用 GRPO 对 Qwen3.8-27B 训练 50 步后,在 507 项 ThinkingBox-Bench 任务各跑 20 次,pass@1 从 51.70% 升至 60.78%,20 次全部通过的任务从 38 个增至 107 个,而至少通过一次的任务从 453 个降至 446 个。训练池按离线策略相对难度筛选,只保留基础模型时对时错的任务,最终池含 187 个任务,基准任务未参与训练。

    关注点

    微软与 Hugging Face 把数据库终态校验直接当作强化学习奖励,并公开了任务筛选与训练代码,读者可据此判断这类奖励能否迁移到自己的智能体训练。

10月4日周日
  1. Hugging Face Blog 精选AI 评分73

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,再根据终端后端状态和副作用而非生成文本打分,并让每个任务重复 20 次。

    关注点

    微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。