Folia
← 返回头版

Strands Decider:为何未采用编码器架构

strands-decider-2B模型的架构设计选择成为研究焦点。1通过对比五种设计方案,包括纯编码器e1b、编码-解码器混合等架构,分析显示编码器在延迟性能上具有明显优势——e1b的中位延迟约35毫秒,相比采用GatedDeltaNet架构的v19降低46%(v19延迟为65毫秒)。1

然而,性能对比结果更为复杂。1e1a在九项任务中的七项上超越v19,但在JevBench任务上表现显著较差(153分对比v19的168分)。1从架构角度看,v19的GatedDeltaNet架构占其层数的75%,具有线性计算成本,而e1b则包含26层全注意力层,具有二次方计算成本。1这一差异导致e1b在处理较长提示长度时扩展性能更差,与其注意力机制的二次方成本表现一致。1综合考量延迟、准确率和泛化能力等因素,编码器和解码器架构在该任务规模下均未呈现出明显的绝对优势。1


评论