跳到正文

搜索“GPT-5.6 Sol”

找到 7 条 · 更新于 23:40
10月18日周日
  1. The DecoderAI 评分58

    新基准 Taste-Bench 评测 AI 智能体长期决策品味

    研究者提出 Taste-Bench,用“决策分叉”评测智能体在长期任务中做出高质量选择的能力。

    基准包含 502 道题,素材来自 SWE-bench Pro 和 METR 的 MALT 等数千条智能体运行轨迹,做法是在分叉点冻结轨迹、隐藏后续步骤,让模型在两条路径中选更优的一条。测试 14 个模型(Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 家族),每题正反顺序各问一次、两次都对才计分,纯猜为 25%;最好的 GPT-5.6 Sol 平均 59.7%,GPT-5.5 为 59.5%,其余明显更低。

10月27日周二
  1. The DecoderAI 评分58

    研究总结 AI 文本难读的六类语言模式

    纽约大学和得克萨斯大学奥斯汀分校的研究者让 Claude、GPT-5.6、GLM-5、Kimi K2.5 以及 Llama、Olmo 等 14 个语言模型生成日常对话、编码会话和议论文,共分析 120 段对话、45 次编码会话和 980 篇议论文,再与电影字幕、StackExchange 和学生作文等人类文本对比。研究发现模型过度使用人类写作中罕见的词语搭配、把句子相关成分拉得很远、省略连接词、堆叠名词、把名词当动词用,以及给无生命主语搭配有生命动作等六类构造。

10月13日周二
10月28日周三
  1. Hugging Face BlogAI 评分58

    Ai2 发布 Old Ideas, Novel Problems 研究:LLM 能否可靠判断研究想法的新颖性

    Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 作为“新颖性评判者”是否可靠。

    研究基于 ICLR 2026 评审意见构建两个数据集:154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only,另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。

10月23日周五
  1. Hugging Face Blog 精选AI 评分60

    微软与 Hugging Face 用 ThinkingBox 数据库校验结果作 RL 奖励训练智能体

    微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 0/1 可执行校验结果当作强化学习奖励,用于训练智能体。

    用 GRPO 对 Qwen3.8-27B 训练 50 步后,在 507 项 ThinkingBox-Bench 任务各跑 20 次,pass@1 从 51.70% 升至 60.78%,20 次全部通过的任务从 38 个增至 107 个,而至少通过一次的任务从 453 个降至 446 个。训练池按离线策略相对难度筛选,只保留基础模型时对时错的任务,最终池含 187 个任务,基准任务未参与训练。

    关注点

    微软与 Hugging Face 把数据库终态校验直接当作强化学习奖励,并公开了任务筛选与训练代码,读者可据此判断这类奖励能否迁移到自己的智能体训练。

10月11日周日
10月4日周日
  1. Hugging Face Blog 精选AI 评分73

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,再根据终端后端状态和副作用而非生成文本打分,并让每个任务重复 20 次。

    关注点

    微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。