Janus是一款用Go语言编写的开源项目，以单一二进制文件的形式提供本地大语言模型推理能力。该工具支持GGUF格式模型通过Vulkan在AMD、Intel和Nvidia等GPU上运行，同时也可进行CPU推理。Janus暴露OpenAI兼容的API接口（包括/v1/chat/completions等端点）和内置Web…
Hetzner已开始提供一项实验性的大语言模型推理服务，名为Hetzner Inference 。该服务采用OpenAI兼容的API接口，运行在Hetzner自有基础设施之上 。