Folia
← 返回头版

RunAnywhere 开源 TrnRT:专为 AWS Trainium 打造的高性能 LLM 推理引擎

创业公司 RunAnywhere 宣布开源名为 TrnRT(Trainium RunTime)的大语言模型推理引擎,该项目由来自 YC W26 批次的 Sanchit 发布 1。TrnRT 旨在填补当前软件栈对 AWS Trainium 芯片支持的空白,此前 vLLM Neuron 不支持 GLM 模型,NxDI 已停止开发,且 SGLang Neuron 的实现已被移除,导致缺乏针对 Trn2 的良好支持方案 1。该引擎通过优化内核和内存利用,试图挑战 Nvidia H100/H200 在成本效益方面的传统优势 1。

目前,TrnRT 已在 AWS trn2.48xlarge 实例上实现了对 GLM-5.3 Flash (FP8) 模型的运行支持 1。在半分析(SemiAnalysis)的 AgentX 基准测试中,该系统实现了每分钟 357 万 token(3.57M TPM)的高吞吐量 1。在单箱配置下,使用 8 个 trn2 芯片并配合缓存感知路由器,系统可同时服务 2 个 GLM-5.3 flash 实例;在批量为 12、拥有 32 个代理的情况下,请求速率达到每分钟 28.9 次(28.9 RPM)1。此外,在 16 个代理且命中缓存提示词的场景下,P50 首 token 延迟约为 1.24 秒,解码速度为每秒 35.9 token 1。

技术层面,开发者编写了覆盖整个层的“巨型内核”(megakernel),使得在 batch size 为 8 时解码速度提升了 25% 1。这一优化显著降低了硬件成本,数据显示 trn2.48xlarge 上的每 TB 显存成本不足 8x H200 集群的一半 1。RunAnywhere 已发布初步基准测试结果,并欢迎社区参与贡献以进一步完善该项目 1。


评论