非transformer架构

科技人工智能

PSSA:用Rust从零编写的非Transformer语言模型

开发者发布了PSSA,一个用Rust从零编写的小型非Transformer语言模型。该模型采用递归状态空间层读取文本,配备可查询的情节记忆库,并能在运行时重写部分权重。模型参数规模为1.5M,目前处于研究原型阶段。