Macaq

科技人工智能

华为发布MACaQ量化工具,实现多模态模型本地高效推理

华为发布了名为MACaQ(Model-agnostic quantization beyond text)的内部量化工具,旨在优化大语言模型及多模态模型的本地推理效率 。该工具支持在llama.cpp、vLLM、Diffusers和PyTorch等框架下对文本、图像、视频和音频模型进行量化 。