Janas-LLM是一款开源工具，可在普通计算机上运行超过内存容量的大型混合专家语言模型。该工具通过从NVMe固态硬盘流式传输模型权重的方式实现这一功能。在搭载32GB内存、配备Intel Core Ultra 9 185H处理器和1TB NVMe固态硬盘的笔记本电脑上，Janas-LLM成功运行了80亿参数的Qwe…