Goodfire 研究员称大模型内部可解读引争论
先了解这件事
AI 初创公司 Goodfire 研究员 Nick Cammarata 发布 2.6 万字博客，主张大语言模型内部机制可能比此前认为的更容易理解，从而更易监控和控制。他重新分析 2014 年的图像识别模型 Inception v1，认为此前被视为“叠加”现象的车与猫共用神经元，实际是两者都含 V 形特征。 这一说法遭到质疑。斯坦福的 Chris Potts 称这更像直觉而非严谨评估；Alignment Research Center 的 Jacob Hilton 指出研究者对顶级 LLM 内部运作的理解不足 0.01%；Google DeepMind 的 Neel Nanda 认为该工作未改变可解释性整体格局。
AI 根据报道生成 · 13 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- MIT Technology Review · AIGoodfire 研究员称神经网络可被理解，引发 AI 可解释性争论
AI 初创公司 Goodfire 研究员 Nick Cammarata 发布 2.6 万字博客，主张大语言模型内部机制可能比此前认为的更容易理解，从而更易监控和控制。他重新分析 2014 年的图像识别模型 Inception v1，认为此前被视为“叠加”现象的车与猫共用神经元，实际是两者都含 V 形特征。斯坦福 Chris Potts 称这更像直觉而非严谨评估；Alignment Research Center 的 Jacob Hilton 指出研究者对顶级 LLM 内部运作的理解不足 0.01%；Google DeepMind 的 Neel Nanda 认为该工作未改变可解释性整体格局。
- Latent SpaceGoodfire 研究者提出神经网络本已清晰，质疑多义性叠加假设
Goodfire 的 Nick Cammarata 发布文章，提出“神经网络本已清晰”的工作假设，认为许多被视为多义性和叠加现象的著名案例其实是被误读，进一步做智能体分析即可拆解。他提到 2023 年在 OpenAI 的自动可解释性工作只找到约 2% 可读神经元。Neel Nanda 表示这没有改变他的关键判断，他仍预期存在表征叠加；Leo Gao 认为解释应以神经元模拟的 KL 来衡量，Jake Mendel 指出非最大激活的长尾被忽略，Pfau 则指出该论文尚未正式发表。