谷歌旗下的原型太空数据中心卫星“Suncatcher”已成功上线并与地面建立通信 。作为“Project Suncatcher”实验项目的一部分,该卫星旨在验证在轨执行大规模人工智能推理工作负载的可行性,并最终探索将AI数据中心部署到太空的可能性 。近期,这颗卫星成功启动其板载的单个Tensor处理单元(TPU),首…

开发者分享了一个轻量级的Jev风格包装函数,为大语言模型(包括视觉模型)提供统一接口。该函数通过读取LLM的token对数概率来实现高效的多选问题回答,支持文本和图像输入。
开发者发布了一个名为TurboFieldfare的开源推理引擎,用Swift和Metal编写,能够在任何M系Mac上运行4-bit量化的Gemma 4 26B模型,内存占用仅约2GB。该引擎通过在RAM中保持模型共享部分和KV缓存,同时从SSD流式传输路由专家的方式,有效解决了内存限制问题。模型的4-bit量化权重占…
Cactus团队通过后训练技术对Gemma 4模型进行改进,使其能够识别自身的错误并输出0至1之间的置信度分数 。