Folia
← 返回头版

研究利用JEPA架构证明柏拉图表征假说,显著提升多模态对齐效率

Randall Balestriero于2026年10月29日发布题为《Proving and Improving the Platonic Representation Hypothesis with JEPAs》的研究论文,成功将“柏拉图表征假说”(PRH)从理论猜想转化为数学定理1。该研究核心发现指出,在“良好视图”条件下——即同一场景的两个观测值——使用联合嵌入预测架构(JEPA)训练的不同模态模型能够收敛到相同的世界表征,两者之间仅存在一次旋转差异1。

实验数据表明,相较于传统大语言模型中常见的基于文档片段的“不良视图”,JEPA采用的“良好视图”能更高效地实现模态对齐1。具体而言,达到相同的对齐效果时,“良好视图”所需的训练样本量比传统的“下一个token预测”方法减少42倍1。在性能对比中,一个参数量仅为1.09亿的文本JEPA模型,在与DINOv2和CLIP等图像编码器的对齐表现上,优于所有评估过的、参数量高达720亿的大语言模型以及CLIP文本编码器1。例如,在ImageNet-100零样本分类任务中,该JEPA模型准确率达到64%,而参数量在8B以下的语言模型最高准确率仅为56%1。此外,研究还展示了通过单次旋转即可将独立训练的编码器组合成图像描述生成器,其在COCO数据集上的CIDEr得分为0.8381。


评论