Folia
← 返回头版

Meta FAIR开源e-means算法:在保持低损失的同时实现k-means训练速度10倍提升

Meta FAIR团队开源了名为e-means的新型k-means聚类算法,旨在作为传统Lloyd算法的现代化、稳健替代方案1。该算法通过引入指数移动平均(EMA)更新规则和自动超参数调整机制,在保持更低损失值的同时,实现了约10倍的训练速度提升1。具体而言,相较于Flash-KMeans,e-means在GPU上的墙钟时间缩减幅度达到10至45倍;而在CPU上对比Faiss,其性能提升约为8至15倍1。

在技术实现层面,e-means采用迷你批次更新策略,并结合缩放定律自动设定批次大小与步长,从而免除了用户手动调整超参数的需求1。针对传统聚类中常见的局部极小值和“死簇”问题,该算法引入了改进的初始化方法以及余弦调度衰减率,并创新性地通过分割大簇而非随机采样的方式来复活死簇1。这些技术优势已在包括SIFT和SPACEV在内的24种不同嵌入及合成数据集上得到实验验证1。目前,e-means的代码已托管于faiss/contrib/e_means仓库,相关论文引用编号为arXiv:2611.095011。


评论