推理引擎

Magnitude推出自优化推理引擎 性能较llama.cpp显著提升

Y Combinator S25批次初创公司Magnitude推出了一款自优化推理引擎，专门为本地Agent运行设计。该引擎采用设备端编译调优、混合分页注意力等技术，在多个平台上相比llama.cpp实现了显著的性能提升。