Mini-AGI是一个开源字节级连续学习语言模型,可在单块8GB显存的GPU上从零开始训练。该项目通过将权重存储在磁盘上并按需调入显存的方式突破了显存限制,使个人PC或笔记本用户能够进行无限继续学习。
WASTE是一款用C语言编写的推理引擎,能够在消费级硬件上运行超大规模语言模型。该引擎使得拥有64GB内存的MacBook Pro M5 Pro可以运行参数量达2.78万亿的Kimi K3大模型,推理速度达到0.49-0.54 tokens/秒。
Poolside发布了Laguna S 2.1模型,这是一个118B总参数的混合专家模型,其中8B参数在推理时处于激活状态,支持100万token的上下文窗口 。该模型从训练开始到发布仅耗时不到9周 。