Folia
← 返回头版

GGML 库发布 v1.0.0:清理废弃 API 并优化多后端性能

GGML 库正式推出 v1.0.0 版本,标志着该项目进入新的里程碑阶段 1。此次更新重点在于代码库的清理与现代化,移除了已弃用的公共 API 以及旧式的 DIAG_MASK 操作 1。为确保系统兼容性,RPC 协议版本升级至 v9,以拒绝不兼容的对等节点连接 1。

在功能扩展方面,新版本引入了对可配置 YaRN 截断(truncation)及 FP8 格式的支持 1。同时,开发团队针对多种硬件后端进行了广泛的性能优化与特性增强 1。CUDA 和 Metal 后端实现了少行量化矩阵乘法(few-row quantized matmuls)以及混合专家模型(MoE)的融合计算 1;Vulkan 后端新增了预填充阶段的 FlashAttention 路径,而 SYCL 后端则引入了设备端的 MoE 调度器 1。此外,OpenCL 后端支持分解的 Adreno FlashAttention,WebGPU 后端增加了内核支持,Hexagon 后端的算子覆盖率也得到进一步扩展 1。


来源

  1. Hacker NewsGgml v1.0.0

评论