Apple芯片

科技人工智能

Apple 在 Mac Studio 上展示超大规模语言模型本地推理能力

Apple Research 发布了 MLX 框架的最新版本,展示了在 Mac Studio 上运行大规模语言模型的能力。 该公司成功在搭载 M5 Ultra 芯片的单台 Mac Studio 上部署了参数规模达 816B 的 Muse Spark Open 模型,实现超过 36 tokens/秒的推理速度。 相比搭…