开发者成功在iPhone 18的Apple Neural Engine上部署了Qwen 3.8-27B大型语言模型。该实现通过向量量化和低比特权重压缩技术,将模型大小压缩至1.5比特每权重(bpw),同时支持24K的上下文长度。
一项技术研究详细揭示了Apple Neural Engine(ANE)在M1芯片中的内部架构设计。研究通过反向工程方法,分析了ANE的计算核心、调度器、内存层次和DMA引擎等关键组件。