Ai模型评估

科技人工智能

嵌入式AI评估者并非易解之法,Hugging Face政策主管表示

Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt大会上指出,当前AI模型的评估体系存在根本性缺陷。她表示,AI基准测试方法"正在不断演进,但我们还不知道如何有意义地将它们相互比较"。Solaiman强调,虽然业界广泛推崇嵌入式第三方评估者作为替代政府监管的方案,但这…

科技人工智能

AI评估平台Arena完成2亿美元B轮融资,10个月估值翻倍至31亿美元

Arena是一个源自加州大学伯克利分校的AI模型评估平台,通过众包方式对AI模型进行排名。该公司近日完成2亿美元B轮融资,估值达到31亿美元,较2024年1月A轮融资时的17亿美元估值在10个月内翻倍增长。B轮融资由Lightspeed Venture Partners和Khosla Ventures领投,Sales…

科技人工智能

Livenerf项目启动持续基准测试监测Claude Opus 5.5性能变化

一个名为Livenerf的开源基准项目已启动,用于监测Claude Opus 5.5模型在发布后是否存在性能下降。Claude Opus 5.5于2026年9月22日发布,该项目从2026年9月24日22:10 UTC开始,计划运行30天以检测模型精度随时间的漂移情况。

科技创业公司

JevBench:类型化决策模型的可复现基准测试工具发布

开发者在Hacker News上发布了JevBench,这是一个专为评估类Jev决策模型性能设计的可复现基准测试工具。该基准包含534个英文决策任务,v1.3评分综合考虑机会校正智能度、校准度、速度和成本。

科技人工智能

英美AI安全机构联合评估Kimi K3网络能力

英国人工智能安全研究所(UK AISI)与美国AI标准创新中心(CAISI)近日联合发布了对月之暗面公司Kimi K3模型网络能力的初步评估报告。