Folia
← 返回头版

非专业人类基线得分超顶级模型,SimpleBench 揭示大语言模型基础能力短板

一项名为 SimpleBench 的多选题文本基准测试显示,当前前沿大语言模型(LLM)在时空推理、社会智能及语言对抗鲁棒性方面仍落后于普通人类表现 1。该测试包含超过 200 个问题,旨在评估模型在上述特定领域的能力 1。结果显示,基于 9 名参与者小样本得出的非专业人类平均得分为 83.7%,这一分数超过了包括 Claude Fable 在内的所有受测顶级 LLM 1。

作为对比,顶级模型 Claude Fable 在 SimpleBench 中的得分为 81.9%,低于人类基线水平 1。结论指出,目前 LLM 依赖的记忆知识和近似推理检索机制,尚不足以完全超越人类在处理某些基础问题时的表现 1。


评论