Mamba模型

科技人工智能

研究人员提出Transformer至Mamba跨架构蒸馏新方案

IBM Research团队(包括Abhinav Moudgil、Ningyuan Huang、Eeshan Gunesh Dhekane等)提出了一种将基于注意力机制的Transformer模型知识迁移至Mamba架构的新方法,旨在解决跨架构蒸馏过程中常见的性能损失问题。 该研究的核心目标在于利用现有的预训练Tra…