Folia
← 返回头版

Cerebras 推出晶圆级引擎与 GPU 结合的解耦推理架构

Cerebras 宣布将其晶圆级引擎(Wafer Scale Engines)与 GPU 结合,推出生产环境的“解耦推理”架构 1。该方案的架构分工明确:GPU 负责处理提示词预填充(Prefill),而 Cerebras 系统负责高速生成解码(Decode)1。

数据显示,相比仅使用 Cerebras CS-3 系统的配置,新方案在保持极速生成的同时,将每兆瓦的 Token 吞吐量提升了 5 倍 1。硬件优势方面,Cerebras 单芯片拥有数十 GB SRAM 和数十 PB/s 内存带宽,这分别是典型 GB300 GPU 的 350 倍 SRAM 容量和 5400 倍带宽 1。

目前,Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute 等早期合作伙伴已接入该解决方案 1。在生产环境的应用实例中,测试使用了 AMD Instinct GPUs 配合 Cerebras CS-3 系统 1。Cerebras 计划在 2027 年底前,在数百兆瓦规模上广泛部署解耦推理 1。


评论