Folia
← 返回头版

NeuraCryption开源SPECTRA架构:实现大模型近无损3倍压缩

NeuraCryption Infrastructure Research Lab发布并开源了名为SPECTRA的大语言模型压缩架构,旨在解决消费级GPU上的内存墙瓶颈 1。该框架通过免校准的拓扑显著性提取和Group-32微缩放技术,实现约3倍的无损压缩比 1。具体而言,其压缩比率在2.80x至3.31x之间,接近无损 1。

在性能表现方面,SPECTRA可在低于50 MB RAM的主机缓冲及4GB VRAM GPU上运行部分模型 1。测试数据显示,在NVIDIA GeForce RTX 3050 Ti Laptop GPU (4GB VRAM)上,70亿参数模型的生成速度达到82.53 tokens/s 1。此外,该架构支持Transformer、ConvNet及Mamba-2架构,兼容NVIDIA CUDA和AMD ROCm平台 1。在精度保留方面,ARC-Challenge准确率从FP16基线的34.73%提升至35.58%,语义相似度>0.996 1。核心算法包括Group-32微缩放、免校准AST通道敏感性分析以及寄存器融合Triton内核 1。相关资源已发布,GitHub仓库地址为 https://github.com/NeuraCryption/SPECTRA,Zenodo DOI为 10.5281/zenodo.24058202 1。


评论