IBM Research团队(包括Abhinav Moudgil、Ningyuan Huang、Eeshan Gunesh Dhekane等)提出了一种将基于注意力机制的Transformer模型知识迁移至Mamba架构的新方法,旨在解决跨架构蒸馏过程中常见的性能损失问题。 该研究的核心目标在于利用现有的预训练Tra…