Liquid AI发布了LFM2.5-24B-A2B模型，这是一个专为快速、私密的边缘设备智能体设计的推理模型。该模型拥有24B参数规模，但仅有2B参数在推理时处于激活状态，大幅降低了计算资源需求。模型的开源权重已发布至Hugging Face。
Janas-LLM是一款开源工具，可在普通计算机上运行超过内存容量的大型混合专家语言模型。该工具通过从NVMe固态硬盘流式传输模型权重的方式实现这一功能。在搭载32GB内存、配备Intel Core Ultra 9 185H处理器和1TB NVMe固态硬盘的笔记本电脑上，Janas-LLM成功运行了80亿参数的Qwe…
研究人员对混合专家（MoE）语言模型进行了深度分析，发现当被问及代码是否恶意时，这些模型会激活与道德判断相关的神经路径。Manifold研究员Cody Nash领导的研究团队通过路由移植实验和工作空间透镜分析，在三个开源模型——OLMoE、DeepSeek-V2-Lite通用版和编码版上测试了这一现象。研究基于240…
Reflection公司正式推出其首个开源大模型Beam，这是一个采用稀疏混合专家架构的模型，旨在为编码、推理和智能体工作负载提供高效解决方案。根据来源披露，Beam拥有501亿总参数，其中230亿为活跃参数，在23.8万亿高质量Token上进行了预训练，并配备100万Token的上下文窗口。
Mini-AGI是一个开源字节级连续学习语言模型，可在单块8GB显存的GPU上从零开始训练。该项目通过将权重存储在磁盘上并按需调入显存的方式突破了显存限制，使个人PC或笔记本用户能够进行无限继续学习。
WASTE是一款用C语言编写的推理引擎，能够在消费级硬件上运行超大规模语言模型。该引擎使得拥有64GB内存的MacBook Pro M5 Pro可以运行参数量达2.78万亿的Kimi K3大模型，推理速度达到0.49-0.54 tokens/秒。
Poolside发布了Laguna S 2.1模型，这是一个118B总参数的混合专家模型，其中8B参数在推理时处于激活状态，支持100万token的上下文窗口 。该模型从训练开始到发布仅耗时不到9周 。