内存带宽

Mac运行大语言模型性能对标工具发布

一项在线计算器工具近日发布，可预测不同Mac机型运行各类大语言模型的能力和速度。该工具基于两个核心公式运作：首先通过参数数量计算模型是否能装入统一内存，其次利用内存带宽除以权重大小的方式预测生成速度。