Runanywhere

科技人工智能

RunAnywhere 开源 TrnRT:专为 AWS Trainium 打造的高性能 LLM 推理引擎

创业公司 RunAnywhere 宣布开源名为 TrnRT(Trainium RunTime)的大语言模型推理引擎,该项目由来自 YC W26 批次的 Sanchit 发布 。TrnRT 旨在填补当前软件栈对 AWS Trainium 芯片支持的空白,此前 vLLM Neuron 不支持 GLM 模型,NxDI 已停…