Llamacpp

科技人工智能

GGML 库发布 v1.0.0:清理废弃 API 并优化多后端性能

GGML 库正式推出 v1.0.0 版本,标志着该项目进入新的里程碑阶段 。此次更新重点在于代码库的清理与现代化,移除了已弃用的公共 API 以及旧式的 DIAG_MASK 操作 。为确保系统兼容性,RPC 协议版本升级至 v9,以拒绝不兼容的对等节点连接 。

科技人工智能

开发者推出smolmaxxing项目:让大语言模型在低算力设备上运行

近日,一项名为“smolmaxxing”的技术方案发布,其核心目标是在电视盒子、旧手机、平板、单板计算机以及路由器等算力有限的设备上运行尽可能大的大型语言模型 。该项目基于MIT许可证的llama.cpp代码库开发,但强调必须使用打过补丁的特定版本,因为标准版的llama.cpp无法加载经过头部裁剪的文件 。

科技人工智能

华为发布MACaQ量化工具,实现多模态模型本地高效推理

华为发布了名为MACaQ(Model-agnostic quantization beyond text)的内部量化工具,旨在优化大语言模型及多模态模型的本地推理效率 。该工具支持在llama.cpp、vLLM、Diffusers和PyTorch等框架下对文本、图像、视频和音频模型进行量化 。

科技创业公司

越狱PS5可原生运行大语言模型 PS5LM项目开源发布

PS5LM是一个新发布的开源项目,使用户能够在越狱的PlayStation 5上通过GPU原生运行GGUF格式的大语言模型。该应用利用Vulkan后端,充分发挥主机GPU的11.4GB共享内存用于模型加载和上下文处理。

科技人工智能

llama.cpp提示词查询解码性能大幅提升

llama.cpp项目的提示词查询解码(prompt lookup decoding)功能近日获得显著性能优化。开发者通过一系列技术改进,包括消除不必要的map拷贝、替换hash map实现、采用排序向量和constmap等措施,将解码速度提升最高达42倍,同时内存使用量减少了2.6倍。在Apple M4 Pro(1…

科技人工智能

开发者推出轻量级LLM包装函数 支持视觉模型的高效多选问题回答

开发者分享了一个轻量级的Jev风格包装函数,为大语言模型(包括视觉模型)提供统一接口。该函数通过读取LLM的token对数概率来实现高效的多选问题回答,支持文本和图像输入。