Goodfire 的 Cammarata 说神经网络从来就没打结：九成神经元只干一件事，剩下的可以让 agent 去画

Nick Cammarata 是 Distill 那几篇 circuits 论文的合著者，正是那些论文教会了整个领域去预期多义神经元和叠加。10 月 15 日，Cammarata 在 Goodfire 发了一篇 65 分钟的长文，说这两者的经典证据都被读错了，HN 帖子冲到 793 分。核心主张很简单。InceptionV1 里那个成了教科书案例、被当作网络把不相关概念塞进同一个单元的猫加车神经元，其实是一个 V 形检测器。下游从来没有任何东西去读猫加车这个组合。用常规的架构改进重新训练 InceptionV1，不改规模不改数据，最后一层 99% 到 100% 的神经元都变得容易解释。早期网络是空间不够，神经元变宽了，不是打结了。而 2023 年那个大约只有 1.7% 的语言模型神经元可解释的估计，是工具的失败，不是关于模型的事实。

替代解释是 Cammarata 称为递归泛化的一种模式。一个神经元像树枝长出分枝那样长出偏枝：一个检测 iy 的神经元长成检测 diy，再长成检测 do it yourself，后者根本不含 iy。相关的东西共用一个神经元，不相关的不会。对 Qwen3-32B 的初步审计里，大约 90% 的神经元极点只有一个主要工作，约 7% 有两个相关工作，2% 到 4% 还没弄懂，万亿参数级别的模型比如 Kimi K3 数字类似，配套论文还在收尾。如果这成立，训练第二个模型把第一个展开的稀疏自编码器路线，解决的是网络并不存在的问题，可解释性就回到了直接在网络本身上做常规科学。

它出现在这里的原因是 agent 这一层。Cammarata 的方法是让 agent 大规模跑猜想与检验的循环：绘制神经元和回路，构建可探索的显微镜，追踪几十万张归因图。文章说快速的常规科学从来没有在哪个点上崩掉，2023 年的解释模型只是跑不动这个循环。Latent Space 那期的标题是 agent 推翻了多义性，说过头了，但形状是对的。这和一周前 Goodfire 发布探针监控时用产品说的是同一句话：如果原生单元是可读的，你就能在生产环境里盯着它们。

反驳来得快而且具体。一位可解释性研究者跑了 dropout 消融，认为 ConvNeXt 最后一层变干净主要来自去掉 dropout，前面的层依然乱，而且递归泛化按现在的表述无法证伪。另一位问怎么把它和看茶叶占卜区分开，因为相关和不相关的界线取决于你选的观察角度。第三位贴了一份文章没有引用的神经元可解释性前人工作清单。Cammarata 一天后的回应帖拿到 4.6 万次展示，补了引用，说数字不是重点，并且把真正的主张摆得很小心：直接看比过去好用得多，可能一路走到底，而且应该不难检验。最后那句话值得记住。安全领域很少遇到一个既乐观又便宜到可以检验的假说。

链接：https://already-clean.goodfire.com/ ，https://news.ycombinator.com/item?id=50105647 ，https://x.com/nickcammarata/status/2111158258748813817 ，https://www.latent.space/p/ainews-agents-disprove-polysemanticity