华为官宣开源盘古 openPangu-2.0-Pro 模型及技术报告。该模型参数规模约 505B,每 token 激活参数规模约 18B,基于昇腾 NPU 训练,支持 512k 上下文长度。训练数据总量约 34T tokens。模型在 Attention 架构、拓扑架构、自投机模块等方面进行了全面升级。