一个新提出的基于Grassmann流的神经网络架构质疑了显式自注意力机制对实现强性能的必要性。这项研究于2025年12月22日提交，其核心创新在于用低秩子空间的几何变形替代传统的非结构张量空间。
一篇发表在Hacker News上的文章从直观的记忆存储视角重新阐释了Transformer模型的工作原理。作者通过对比线性层、MLP和自注意力机制作为不同类型的记忆存储方案，分析了它们各自的存储容量差异。
注意力机制已成为现代人工智能的关键技术基础。2014年，蒙特利尔大学研究员Dzmitry Bahdanau发明了注意力机制，用以解决神经网络在处理长句翻译时性能下降的问题。这项创新随后被Google在2017年发表的《Attention Is All You Need》论文中集成并发展，形成了Transformer架…
一篇在Hacker News上发表的文章对"没有人理解大语言模型如何工作"的说法提出直接质疑。作者声称"我理解大语言模型如何工作。数千名花费数年研究、设计、训练和实现LLM的人也都理解"。这一立场直指MIT Technology Review、TIME和WIRED等主流媒体发表的"Nobody knows how A…
乔治亚理工学院研究团队发布了"Transformer Explainer"交互式教程工具，旨在通过可视化方式阐释Transformer神经网络架构的核心原理。该工具基于PyTorch的nanoGPT实现，转换为ONNX Runtime在浏览器中实时运行，使用户能够直观探索模型的工作机制。
研究人员提出了递归循环Transformer（RLT）架构，将因果编码器与递归解码器相结合。该设计通过在每个提示和响应令牌之间携带隐藏状态和滑动窗口注意力缓存，实现随序列增长而扩展的无界时间深度。