推理优化

科技人工智能

GGML 库发布 v1.0.0:清理废弃 API 并优化多后端性能

GGML 库正式推出 v1.0.0 版本,标志着该项目进入新的里程碑阶段 。此次更新重点在于代码库的清理与现代化,移除了已弃用的公共 API 以及旧式的 DIAG_MASK 操作 。为确保系统兼容性,RPC 协议版本升级至 v9,以拒绝不兼容的对等节点连接 。

科技人工智能

Edge0-145B:AutoArk团队开源端侧前沿AI模型,实现本地高性能推理

AutoArk团队(Edge0 Team)开源了全球首个拥有1450亿参数的端侧AI模型Edge0-145B及配套统一推理框架 。该模型旨在让高性能编码、推理和Agent能力在个人电脑上本地运行 。通过架构、训练、加载和调度四层设计创新,Edge0-145B在保持仅约100亿参数参与单次计算的同时,实现了媲美云端前沿…

科技人工智能

Promethevs v0.2发布:仅需12GB显存即可本地运行完整DeepSeek大模型

PROMETHEVS引擎近日发布v0.2版本,宣称在配备Ryzen 9 3950X CPU、64GB DDR4内存及RTX 3060显卡(12GB显存)的普通PC上成功运行完整的DeepSeek-V4.1-Flash-1017大模型 。该突破得益于由Ryan Flavell发明的“Compress-then-Corr…

科技人工智能

企业AI竞争力的关键:优化服务架构而非模型选择

企业在部署人工智能时,核心竞争优势不在于选择哪个模型,而在于围绕模型构建的工程系统——即服务架构。从业务工作负载出发设计架构,而非单纯追求模型能力,是实现可靠、经济、可扩展生产能力的关键。

科技人工智能

递归循环Transformer架构面世

研究人员提出了递归循环Transformer(RLT)架构,将因果编码器与递归解码器相结合。该设计通过在每个提示和响应令牌之间携带隐藏状态和滑动窗口注意力缓存,实现随序列增长而扩展的无界时间深度。

科技人工智能

DeepSeek v4.1 Flash 无审查版本发布

dealignai 团队于 2026 年 9 月 10 日发布了 DeepSeek-V4.1-Flash 的无审查版本(dealignai/DeepSeek-V4.1-Flash-UNCENSORED-FP8),通过权重级别消融技术移除了模型的安全防护机制,同时保留了核心能力。该模型包含 552B 参数,约占 510…

科技人工智能

没两辆劳斯莱斯幻影,别想部署开源大模型

自建部署开源大模型的成本远超普通用户和企业的想象。以Kimi K3为例,仅显卡购置成本就需2560万元,加上液冷、机房等前期基础设施投入,打底需3000万元。DeepSeek V4-Pro需16张H200加速卡,硬件成本达376万元,而Qwen 3.8则需要64张B200,同样面临3000万元的初期投资。

科技人工智能

Fermion Research 发布开源模型 Neutrino-1 8B

Fermion Research 推出了 Neutrino-1 8B,一款参数量为 8.19B 的开源大语言模型 。该模型采用专有的三进制权重格式,将文件大小压缩至 3.88 GB ,可在数据中心 GPU、Mac 和桌面 CPU 上运行 。