Folia
← 返回头版

淘宝MNN团队开源0.3B手机模型 iPhone 18 Pro离线生成速度达350 token/s

淘宝旗下MNN团队于11月6日发布并开源了面向手机应用的轻量级大语言模型MNN-Pocket-0.3B 1。该模型参数量约为3亿,专为有限算力、内存和能耗设计,并提供多个版本以支持从预训练到端侧部署的全流程开发 1。在性能表现上,MNN-Pocket-0.3B在苹果iPhone 18 Pro上实现了平均约350 token/s的离线解码速度;在iPad Pro M5(Metal后端)下,Decode吞吐达466 token/s 1。

通过结构优化与量化技术,该模型在资源占用与能效方面展现出显著优势 1。架构上采用28层结构,结合分组查询注意力(GQA),词表精简至64K(缩减约57%)1。其INT4 MNN部署文件体积为173MB,峰值内存增量控制在300MB以下(iPad Pro测试中增加228MB)1。在一加13手机上,执行100次同等负载任务时,累计增量能耗约占电池总电量的0.3% 1。相较于Qwen3-0.6B,MNN-Pocket-0.3B部署体积减少约49%,峰值内存增量减少约47%,同条件下Decode吞吐为其1.63倍 1。

该模型在中文指令遵循、知识推理等评测中表现优异 1。具体指标显示,其在英文IFEval得分73.20,中文IFEval-zh得分74.59;在中文数学MGSM-zh得分51.20,代码生成HumanEval得分53.66 1。开发者可通过GitHub地址 https://github.com/alibaba/mnn 获取该模型及相关资源 1。


评论