一个新提出的基于Grassmann流的神经网络架构质疑了显式自注意力机制对实现强性能的必要性。这项研究于2025年12月22日提交，其核心创新在于用低秩子空间的几何变形替代传统的非结构张量空间。
一篇发表在Hacker News上的文章从直观的记忆存储视角重新阐释了Transformer模型的工作原理。作者通过对比线性层、MLP和自注意力机制作为不同类型的记忆存储方案，分析了它们各自的存储容量差异。
乔治亚理工学院研究团队发布了"Transformer Explainer"交互式教程工具，旨在通过可视化方式阐释Transformer神经网络架构的核心原理。该工具基于PyTorch的nanoGPT实现，转换为ONNX Runtime在浏览器中实时运行，使用户能够直观探索模型的工作机制。