英伟达(NVIDIA)发布了名为 NVIDIA Kubernetes Engine (NVKE) 的预览版服务,旨在让用户在自有 GPU 基础设施上运行托管 Kubernetes 集群 。该工具作为管理平面,通过 NVIDIA Infra Controller (NICo) 配置机器并创建独立的工作负载集群,支持集群…
Hetzner已开始提供一项实验性的大语言模型推理服务,名为Hetzner Inference 。该服务采用OpenAI兼容的API接口,运行在Hetzner自有基础设施之上 。