Janus

科技创业公司

Janus:跨平台GPU加速的本地大模型推理工具发布

Janus是一款用Go语言编写的开源项目,以单一二进制文件的形式提供本地大语言模型推理能力。该工具支持GGUF格式模型通过Vulkan在AMD、Intel和Nvidia等GPU上运行,同时也可进行CPU推理。Janus暴露OpenAI兼容的API接口(包括/v1/chat/completions等端点)和内置Web…