Strata

科技人工智能

开源项目Strata让125亿参数大模型运行在消费级硬件上

Strata是一个开源工具项目,可在配备RTX 4090等消费级显卡的个人电脑上运行125亿参数的Qwen 3.8-Flash-Next大模型,推理速度达到100 token/秒。该项目通过在GPU、内存和固态硬盘间动态分配工作负载,使原本需要服务器级硬件才能支撑的大模型在家用计算机上可行。

科技创业公司

Strata:为大语言模型增设"拒绝权"的语义层平台

开发者Ajo在Hacker News上发布了Strata,一个集语义层、仪表板、订阅和Google Sheets导出功能于一体的全栈解决方案。该产品旨在帮助非技术业务用户实现数据自助服务,通过严格的命名规范、智能路由、复杂度量和跨域数据混合等特性,为大语言模型集成设置语义层约束。