Folia
← 返回头版

Mistral发布1万亿参数大模型Mistral Large 4

Mistral AI公司发布了新一代大模型Mistral Large 4(代号"Le Chonk"),这是一个拥有1万亿参数、49亿活跃参数的原生多模态模型13。该模型采用混合专家架构2,配备1.6亿视觉编码器2,支持100万token上下文窗口2。根据Mistral,这一模型在欧洲和美国的聚合基准中表现为最佳的开源模型1。

在关键领域的性能方面,Mistral Large 4在网络防御、制造业和金融等工作负载上实现了开源模型中的最先进水平13。在网络安全基准测试中,该模型在Artificial Analysis Cyber Index上排名全球前五,在开源模型中领先3,在Cybench中解决了93%的挑战3,在漏洞复现和修补测试中得分82%3。此外,该模型在视觉定位上超越了闭源前沿模型1,支持160多种语言,包括欧盟所有官方语言3。

从技术效率看,Mistral Large 4仅使用了4000块NVIDIA GPU进行训练,相比中国竞争对手少2-3倍,比闭源竞争对手明显更少4。模型在Mistral欧洲数据中心使用NVIDIA GPU从头训练3,可通过Mistral Cloud基础设施从欧洲部署1。

该模型当前已通过API接口提供,定价为每百万输入token 0.68美元(标准版)或0.07美元(缓存输入),每百万输出token 2.09美元2。Mistral计划在10月底前发布开源权重版本13。根据Mistral副总裁Pierre Stock的说法,公司将与可信的合作伙伴和政府合作,"确保开源权重可用于防御,但不能进行恶意攻击"4。


评论