本地推理

科技人工智能

PrismML发布Bonsai 2 27B模型:9倍压缩率下保留98%性能

PrismML推出了Ternary Bonsai 2 27B模型,该模型基于阿里巴巴的开源Qwen 27B模型,采用三值量化技术实现显著的模型压缩。经过压缩后,模型大小仅为5.9GB,相比全精度版本缩小9至10倍,使高性能推理能够在个人电脑和智能手机等本地设备上运行。

科技人工智能

Inflect-Micro-v2:仅用936万参数实现完整文本转语音

开发者Owen Song独立完成并开源了Inflect-Micro-v2,这是一款参数量低于1000万的完整文本转语音(TTS)合成模型。该模型包含9,356,513个可部署参数,FP32格式下占用37.53 MB的存储空间。