提示词查询解码

科技人工智能

llama.cpp提示词查询解码性能大幅提升

llama.cpp项目的提示词查询解码(prompt lookup decoding)功能近日获得显著性能优化。开发者通过一系列技术改进,包括消除不必要的map拷贝、替换hash map实现、采用排序向量和constmap等措施,将解码速度提升最高达42倍,同时内存使用量减少了2.6倍。在Apple M4 Pro(1…