月之暗面发布了Kimi K3的技术报告,详细披露了大模型训练中的AI基础设施(Infra)层设计细节。该报告阐述了三项核心优化方案:KDA线性注意力机制、AttnRes注意力残差机制和MoonEP负载均衡方法。这些方案的共同目标是消除串行等待、减少计算重复和实现动态负载均衡,而非简单依靠堆积GPU硬件。