Latent Space· Latent Space·· 17 天前AI 评分62
Goodfire 研究者提出神经网络本已清晰，质疑多义性叠加假设
[AINews] Agents disprove Polysemanticity; greatly improve Interpretability & Alignment
AI 导读
Goodfire 的 Nick Cammarata 发布文章，提出“神经网络本已清晰”的工作假设，认为许多被视为多义性和叠加现象的著名案例其实是被误读，进一步做智能体分析即可拆解。
摘要与补充说明
他提到 2023 年在 OpenAI 的自动可解释性工作只找到约 2% 可读神经元。Neel Nanda 表示这没有改变他的关键判断，他仍预期存在表征叠加；Leo Gao 认为解释应以神经元模拟的 KL 来衡量，Jake Mendel 指出非最大激活的长尾被忽略，Pfau 则指出该论文尚未正式发表。
此来源暂仅展示摘要。