头版Folia Daily Briefing
← 返回头版
科技人工智能

Lumabri:将大语言模型分布式运行的新尝试

开发者在Colibrì项目基础上推出了Lumabri,一个探索点对点分布式大语言模型运行的实验性系统 [1]。该项目打破了传统依赖单台高性能机器的模式,允许网络中的多台普通计算机作为共享资源池,各自贡献存储和计算能力来共同运行大模型 [1]。

系统设计对Mixture-of-Experts模型特别有效,因为这类模型允许只传输小的激活信号,而无需移动庞大的专家权重参数 [1]。不过该项目目前仍处于早期阶段,正在应对网络延迟、安全验证、副本选择、故障转移和确定性执行等多个技术挑战 [1]。


Lumabri大模型分布式运行对等网络LLMMixture-of-Experts