本地大模型运行

科技人工智能

Kimi K3 2.8T 模型可在消费级硬件上本地运行

开源项目 Deltafin 实现了在普通消费级设备上本地运行完整 Kimi K3 2.8T 大模型的突破。该项目基于 gavamedia/deltafin 分支,采用 MIT 许可证,通过从多块固态硬盘流式加载模型参数的方式,使 MacBook Pro 等设备无需云端服务即可执行大型语言模型推理。