头版Folia Daily Briefing
← 返回头版
科技人工智能

Fermion Research 发布开源模型 Neutrino-1 8B

Fermion Research 推出了 Neutrino-1 8B,一款参数量为 8.19B 的开源大语言模型 [1]。该模型采用专有的三进制权重格式,将文件大小压缩至 3.88 GB [1],可在数据中心 GPU、Mac 和桌面 CPU 上运行 [1]。

模型在不同硬件上的推理性能表现各异 [1]。在 Apple M5 CPU 上,单流推理速度达到 24.9 tokens/秒(9 线程配置);NVIDIA L4 GPU 可实现 30.7 tokens/秒;Apple Silicon MacBook 的推理速度最快,达到 33.7 tokens/秒 [1]。在投机式解码任务中,0.6B 草稿模型在计数提示上的接受率达到 100%,在事实提示上的接受率为 96.5% [1]。

该模型衍生自 Qwen3-8B [1],已在 Apache License 2.0 下开源发布,允许商业使用、修改、微调和再分发 [1]。


Neutrino-1 8B大语言模型开源模型Fermion Research量化格式推理优化

来源

  1. Hacker NewsNeutrino-1 8B