Waste引擎

科技人工智能

Kimi K3可在消费级MacBook Pro上运行 WASTE引擎实现高效推理

WASTE是一款用C语言编写的推理引擎,能够在消费级硬件上运行超大规模语言模型。该引擎使得拥有64GB内存的MacBook Pro M5 Pro可以运行参数量达2.78万亿的Kimi K3大模型,推理速度达到0.49-0.54 tokens/秒。