跳到正文
热点事件历史事件

新基准Taste-Bench评测智能体长期决策品味

1 篇报道1 个报道来源15 天前更新

先了解这件事

AI 综述

研究者提出 Taste-Bench，用“决策分叉”评测智能体在长期任务中做出高质量选择的能力。基准含 502 道题，素材来自 SWE-bench Pro 和 METR 的 MALT 等数千条智能体运行轨迹：在分叉点冻结轨迹、隐藏后续步骤，让模型在两条路径中选更优的一条。 测试覆盖 Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 等 14 个模型，每题正反顺序各问一次、两次都对才计分，纯猜为 25%。成绩最好的 GPT-5.6 Sol 平均 59.7%，GPT-5.5 为 59.5%，其余明显更低。 论文作者称基准与代码已公开。

AI 根据报道生成 · 15 天前更新

最新进展10月18日 16:49
新基准 Taste-Bench 评测 AI 智能体长期决策品味

报道时间线

沿着报道，了解事件的不同侧面。

10月18日
  1. The Decoder
    新基准 Taste-Bench 评测 AI 智能体长期决策品味

    研究者提出 Taste-Bench，用“决策分叉”评测智能体在长期任务中做出高质量选择的能力。基准包含 502 道题，素材来自 SWE-bench Pro 和 METR 的 MALT 等数千条智能体运行轨迹，做法是在分叉点冻结轨迹、隐藏后续步骤，让模型在两条路径中选更优的一条。测试 14 个模型（Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 家族），每题正反顺序各问一次、两次都对才计分，纯猜为 25%；最好的 GPT-5.6 Sol 平均 59.7%，GPT-5.5 为 59.5%，其余明显更低。