Folia
← 返回头版

METR更新AI评估报告:前沿模型能力呈指数增长,但开放式任务表现仍弱于人类

人工智能评估非营利组织METR发布了一份关于AI时间跨度图的更新报告 1。报告指出,虽然部分AI能力呈指数级增长,前沿模型每四个月能成功完成的任务长度翻倍,但在需要判断力的开放式任务上,其表现不如编码等可验证任务 1。新报告纳入了设计AI评估和哲学论证评分等难以量化的任务,结果显示当前最先进模型在这些领域仍未达到人类水平,但已显示出“勉强及格”的进步迹象 1。

具体而言,包括Opus 5.5在内的最新模型在评估设计任务上达到了“勉强及格”的水平,而一年前所有模型均为“明显不及格” 1。OpenAI周三发布的博客称,其模型在员工要求的现实世界任务中表现不如在METR原始套件中的可验证任务好 1。

专家肯定METR扩展评估维度的尝试,但也指出此类任务的定义和评分极其困难 1。研究员Sayash Kapoor认为研究品味是AI研发自动化的主要瓶颈 1。Matt Putz表示由于性质使然,难以像易定义任务那样建立清晰稳健的趋势 1。目前尚难准确预测AI在研发自动化方面的进展速度 1。


评论