大模型架构
科技人工智能
Kimi K3架构概览：2.8T参数开源大模型发布
Kimi K3是一款新发布的开源权重大模型，规模达2.8T参数，是目前最大的开源模型 。该模型基于去年发布的Kimi Linear模型进行扩展，从48B参数规模扩大到2.8T 。
科技人工智能
Kimi Linear：混合线性注意力架构的突破
Kimi团队发布了Kimi Linear混合线性注意力架构，在短上下文、长上下文和强化学习等多个场景中首次超越全注意力机制。该架构的核心创新是Kimi Delta Attention（KDA）模块，采用精细的门控机制和专用的对角线加低秩转移矩阵算法，显著降低了计算成本。预训练的3B激活参数模型相比全MLA架构性能更优…