Janus是一款用Go语言编写的开源项目,以单一二进制文件的形式提供本地大语言模型推理能力。该工具支持GGUF格式模型通过Vulkan在AMD、Intel和Nvidia等GPU上运行,同时也可进行CPU推理。Janus暴露OpenAI兼容的API接口(包括/v1/chat/completions等端点)和内置Web…