一项开源项目展示了在7个ESP32S3微控制器组成的集群上运行BitNet 1.58位量化语言模型的分布式推理能力。该项目采用主从架构,由1个主节点和6个计算节点组成,通过高速SPI菊花链实现节点间通信。
Petals是一个开源项目,使用户能够在家中以类似BitTorrent的分布式方式运行大型语言模型 。该平台通过连接网络中其他用户共享模型部分来完成推理任务 。