Folia
← 返回头版

Flide 发布:专为 Jev 风格决策模型打造的高速推理引擎

开发者在 Hacker News 平台推出了名为 Flide 的人工智能推理基础设施,该工具专门针对 Jev 风格的决策模型进行优化 1。Flide 采用“精确状态分叉”技术,宣称其处理速度相较于 vLLM 和 SGLang 等主流框架提升最高可达 9.5 倍 1。项目遵循 Apache-2.0 开源协议,其中部分内核代码衍生自 flash-linear-attention(MIT 许可证) 1。

在性能基准测试中,当在 H200 GPU 上运行 OneJev1.6-0.8B 模型时,单封电子邮件的处理耗时仅为 10.0 毫秒,而批量处理 10,000 封邮件总共仅需 28 秒 1。该软件支持包括 Gemma 4、Qwen3.5 在内的多种主流及专用决策模型 1。最新发布的 Flide 0.1.15 版本于 2026 年 11 月 12 日上线,此次更新新增了 LiquidAI 的 d1-3B 模型支持,并允许 Gemma 4 以 FP8 精度运行 1。此外,相关学术论文《Flide: Accelerating Decision Inference with Exact State Forking》已于 2026 年 11 月 2 日发布于 arXiv 平台(编号 arXiv:2610.42148) 1。


评论