斯坦福研究：50 条 LLM 结论中 44% 已失效，平均寿命 15.7 个月
Rapid LLM development is outrunning the research meant to explain it, study finds
AI 导读
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型，复测 50 条被广泛引用的大语言模型结论，发现 44% 已经失效，另有 34% 明显减弱，仅 16% 仍然成立、6% 反而增强。
摘要与补充说明
在有预估失效时间的 22 条结论中，平均寿命只有 15.7 个月；发布一年后 16% 失效，两年后升至 39%。关于模型“做不到什么”的结论失效最快，9 条推理相关结论中 5 条已失效且无一保持或增强，涉及字母计数、陌生进制算术、长上下文中间信息丢失和用户反驳后放弃正确答案。偏好与行为倾向类结论更持久，11 条保持或增强的结论中有 3 条与模型作为评估者有关。
正文· AI 翻译
斯坦福大学研究人员 Owen Queen 和 James Zou 针对 20 个模型测试了 50 条被广泛引用的大语言模型相关论断，发现其中 44% 已经“过期”。在 22 项有预估过期日期的发现中，平均寿命仅为 15.7 个月。
两人使用八家不同开发商在 2024 年 7 月至 2026 年 9 月间发布的模型对这些论断进行了检验。已过期发现背后的原始效应基本消失，另有 34% 显著减弱。仅 16% 仍然成立，6% 反而变得更强。一年后，16% 已过期。两年后，这一数字攀升至 39%。
关于模型“做不到什么”的论断过期最快
根据该研究，关于模型做不到什么的论断过期最快。九项与推理相关的发现中有五项被视为已过期，且无一保持成立或变得更强。它们包括一些众所周知的弱点，例如数“strawberry”中的字母、在不熟悉的进制中进行算术运算、在长上下文中间丢失信息，以及用户提出质疑时放弃正确答案。研究人员怀疑这类错误存在“正确”结果，从而为开发者提供了明确的训练目标。
关于偏好和倾向的论断被证明寿命更长。在 11 项保持成立或变得更强的发现中，有三项涉及大语言模型作为评估者的行为。它们偏好自己的答案，对被接收和被拒稿的论文评分相近，并且会被医学摘要中的语言修饰所左右。另外三项涉及对用户的谄媚与附和。此外，还存在偏左的政治偏见、对开放式问题的回答几乎相同，以及生成随机数时分布不均匀。
虚构参考文献从 55% 降至零，但并非处处如此
作为案例研究，Queen 和 Zou 考察了科学引文的捏造问题。在 Walters 和 Wilder 2023 年的原始研究中，GPT-3.5 捏造了 55% 的参考文献。斯坦福研究人员向当前模型发送了相同的提示词。GPT-6.1 Sol 捏造率为 0%，Claude Sonnet 5.5 为 1%。但同样属于 2026 年模型的 Qwen3.7-Flash 在同一测试中仍捏造了 69% 的参考文献。
该研究警告不要将这些结果解读为一切安全。在所谓的双跳问题上——即模型必须结合两个已知事实——Claude Sonnet 5.5 在约 10% 的情况下仍然失败，尽管它能正确回答两个单独问题。原始论文报告 ChatGPT 的这一比例为 43%。“逆转诅咒”以及对成对时间相关问题的矛盾回答也有所减弱，但仍可检测到。
研究人员表示，社会偏见的情况较为复杂。偏左的政治偏见持续存在，而性别刻板印象和内隐联想偏见已经减弱。针对非裔美国人英语使用者的偏见在趋势数据中实际上发生了方向反转。
即使在同一代际内，模型之间的差距仍然很大
不同模型之间的结果差异相当大，即使是在同一发布窗口内也是如此。在2026年7月至9月间发布的模型中，过期结论的数量从DeepSeek V4 Pro的11条到GPT-6.1 Sol的30条不等。发布日期、提供商和模型规模都无法可靠地预测这一模式。
Queen和Zou得出了一个宽泛的结论。关于LLM的实证发现应当作为针对特定时间点特定模型的观察来呈现，而非普遍真理。论文应记录模型、版本和日期，并公开提示词和分析代码，以便这些发现在未来的模型上能够被重新检验。
研究人员指出了一篇Andrej Karpathy的博文，其中描述了人们对LLM实际行为的认知偏差如何影响对AI的信任以及人们使用它的频率。Karpathy是OpenAI的联合创始人，后来加入了Anthropic，他最近还表示，目前可用的模型只是未来能力的一个预览。