AI可解释性接近突破了吗？一篇新文章让研究者意见分裂
Is AI interpretability close to a breakthrough? A new essay has researchers divided
AI 导读
The Decoder报道，前OpenAI研究者Cammarata在一篇新文章中重新解读了机械可解释性领域的经典案例，认为著名的InceptionV1猫脸与汽车神经元其实是V形检测器，并非叠加现象，而所谓叠加电路只是按朝向对汽车和狗做普通泛化。
摘要与补充说明
他提出递归泛化模式，并给出初步数据：在Qwen3-32B中约90%的神经元极只有一个主要功能，约7%有两个相关功能，仅2%到4%无法解释，Goodfire称在参数量达万亿级的模型上看到类似结果，批量分析神经元的AI智能体承担了大部分工作。
正文· AI 翻译
机制可解释性试图做的不仅仅是观察 AI 模型输出了什么。它的目标是追踪模型在内部是如何得出答案的。理想情况下，数百万个人工神经元中的每一个都应代表一个可识别的概念。但在实践中，许多神经元似乎会对完全不相关的事物产生激活，研究人员称之为多义性。一个早期且著名的例子是图像模型 InceptionV1 中的一个神经元，它同时对猫脸和汽车前部产生响应。Cammarata 在自己早期的研究中就把它当作例子。
标准解释是叠加。该理论认为，当网络用尽神经元时，它会把不相关的概念塞进同一个神经元，因为它们很少相互干扰。结果看起来像一团乱结。这就是为什么许多实验室会训练第二个模型（例如稀疏自编码器）来把概念拆开。然后他们研究那个模型，而不是原始模型。
Cammarata 在塑造这一观点中发挥了重要作用。他与 Chris Olah 共同撰写了论文“Zoom In”，其中引入了第一个叠加电路。2023 年，他在 OpenAI 启动了一个自动化可解释性项目。当时，即使按最宽松的标准衡量，也只有约 1.7% 的神经元可被视为可理解的。
证据可能被误读了
Cammarata 现在认为，最著名的那些例子被误解了。他说，猫-车神经元实际上是一个 V 形检测器。像狐狸口鼻或火焰这样的尖形会激活它，而像字母 O 这样的圆形则会把它的激活推向负值。因此，它并不代表猫脸和汽车这两个完全无关的概念，这意味着它并不是叠加的一个例子。
他还重新解释了“Zoom In”中的叠加电路，那里似乎有一辆车藏在狗神经元之中。在他看来，这是普通的泛化，该电路只是按照汽车和狗朝向摄像头的方向对它们进行分组。他把 InceptionV1 后层中的混乱归咎于过时的架构和薄弱的分析工具。
Cammarata 用一种他称为“递归泛化”的模式来解释剩余的模糊性。他说，一个神经元就像一根长出侧枝的树枝。一个识别字母序列“iy”的神经元后来对“diy”产生响应，最终又对“do it yourself”产生响应，而后者根本不含“iy”。与叠加不同，这些分组可以让你对网络有所了解。
对于语言模型，他提供了一些初步数据。在 Qwen3-32B 中，约 90% 的神经元极点只有一项主要功能，约 7% 有两项相关功能。只有 2% 到 4% 仍无法解释。Goodfire 表示，在参数量高达数万亿的模型中也能看到类似结果。批量分析神经元的 AI 智能体完成了大部分工作。Cammarata 借鉴了 Rich Sutton 的“苦涩的教训”，并得出结论：在可解释性领域，大规模简单调查同样胜过精巧的分解方法。
Cammarata 并未引入一种全新的方法。他回归了该领域最初直接研究神经元的思路，只是借助了更好的工具、更大的模型和自动化智能体。
可读的网络将是 AI 安全的重大胜利
如果 Cammarata 是对的，那将是个好消息，尤其是对 AI 安全而言。目前，除了监控越来越不可靠的思维链之外，几乎没有其他方法能判断模型是否在欺骗人类或做出危险行为。Cammarata 怀疑，如果没有可解释性，对齐——即引导 AI 朝向人类目标的工作——就无法解决，因为否则我们不知道自己在构建什么。他写道，欺骗没有理由躲开模型自身的回路。如果人类成为网络的又一个“读者”，他们也能看到欺骗，错误或许可以被有针对性地修复。
Roon 是 OpenAI 的一名员工，在 X 上以此化名发帖，也是 AI 圈内有影响力的声音，他对此感到兴奋。他说自己与 Cammarata 是密友，没有他，自己绝不会来到 OpenAI。这项工作“可能会被铭记为科学史上的重大时刻”，Roon 写道。他还补充说，这个消息太好了，就连 Eliezer Yudkowsky——警告 AI 灾难最著名的声音之一——也不得不降低他对末日概率的估计。在 Roon 看来，对齐可能成为一门“常规科学”。
就连 Roon 也有所保留。该领域的其他人仍需确认这些结果，而且他还怀疑可解释性的突破会推动 AI 能力向前发展。这些突破来自外部，对包括 OpenAI 在内的大型实验室来说并非好兆头。
Nanda 看到的是实用工具，而非突破
Neel Nanda 要谨慎得多。他被视为机制可解释性的奠基人物之一，领导 Google DeepMind 的可解释性团队。在此之前，他曾在 Anthropic 工作，也做过独立研究者。据他所说，他的观点已经转变：自 2024 年中期以来，他对雄心勃勃的可解释性愈发悲观，并倾向于务实的方法。他的团队降低了稀疏自编码器研究的优先级。他们并不认为这项技术无用，但似乎不值得该领域投入如此多的精力。
Cammarata 的工作很有趣，但并未真正改变大局，Nanda 写道。基于神经元的分析可能有助于解决实际问题，比如模型为何做了可疑的事，而且它更容易应用于前沿模型。但他不认同可解释性即将被完全攻克的想法。他预计基于神经元的分析会有严重缺陷，也会遗漏很多。
Nanda 仍然认为叠加是真实存在的。他主张语言模型存储的事实远多于其神经元数量，尤其是弱激活很可能承载了其中大部分信息。他怀疑小型图像模型的研究结果能否推广过来。他还认为这篇文章对单义性的定义过于宽松，但确实认可 Cammarata 用现代工具检验自己旧工作的做法。
部分争议归结于定义：Cammarata 并不反对模型表示的概念数量多于其维度数量，而 Nanda 认为他在这一点上是认同的。Cammarata 所质疑的是，网络会随意将完全无关的事物打包在一起。
配套的技术论文尚未发布。作为一家可解释性公司，Goodfire 在这篇论文的论点中也有明显的利害关系。如果 Cammarata 的解读站得住脚，他认为自动化研究者可以在几个月内完成人类用图像模型花了近十年才做到的事情。他写道，留给这件事的时间可能不多了。