Spinf Inc. 发布了一款名为 spinf-serve 的开源 AI 推理服务器，该工具专门针对批量评分和决策任务进行优化 。与传统生成式模型不同，spinf-serve 能够在单次读取内容后并行回答多个问题，并直接返回选项的概率分布（包括 logprob、p 和 floor_p），而非生成文本，从而显著提升了…