Folia
← 返回头版

百度发布开源基础模型 ERNIE 5.5 Flash Base

百度正式发布了基础语言模型 ERNIE 5.5 Flash Base 1。该模型专注于训练与推理的效率平衡,并已在 Hugging Face 上开源,供开发者进行下游任务微调 1。

在架构设计上,ERNIE 5.5 Flash Base 是一个稀疏混合专家(MoE)模型,拥有2800亿总参数,每次推理激活140亿参数 1。其预训练数据量达33.5万亿 tokens,并采用了混合注意力机制(MLA + HCA) 1。关于上下文长度,该模型的训练上下文最高支持 128K tokens,而在微调及推理阶段支持高达100万 tokens 1。


评论