Janus是一款用Go语言编写的开源项目，以单一二进制文件的形式提供本地大语言模型推理能力。该工具支持GGUF格式模型通过Vulkan在AMD、Intel和Nvidia等GPU上运行，同时也可进行CPU推理。Janus暴露OpenAI兼容的API接口（包括/v1/chat/completions等端点）和内置Web…
OpenJev是一个本地运行的AI模型实验工具，允许用户在自己的GPU上直接读取模型选择概率，或通过生成JSON的方式获取选项分布。该工具的核心特性是所有输入数据均保留在本地浏览器中，不向外部服务器传输。