>_
2026年3月18日ResearchOpen SourceInfrastructure
Attention Residuals:Moonshot AI 开源的 Transformer 架构升级方案
Moonshot AI 的 Kimi 团队发布了 Attention Residuals(AttnRes),这是标准 Transformer 残差连接的即插即用替代方案,使每一层能够通过学习到的深度注意力机制选择性地聚合先前层的表示。该论文在 HuggingFace 上获得1,330票赞——是当日最热论文——代码已在 GitHub 开源。
核心思想:不再使用固定单位权重的残差连接,AttnRes...