Folia
← 返回头版

Wincon发布TIS-100 Bench:顶级LLM打破游戏编程社区记录

Wincon研究团队推出了名为TIS-100 Bench的新基准测试,旨在评估16个大语言模型(LLMs)在Zachtronics游戏《TIS-100》中的编程能力 1。该测试涵盖47个游戏内置谜题和8个社区锦标赛谜题,共计55题,并采用pass@1单次尝试机制进行考核 1。结果显示,Opus 5.5和GPT-6 Astra等顶级模型不仅解决了全部55个谜题,还各自找到了11个新的前沿点 1。此外,测试共下载了3,714个模型帕累托点,其中186行被标记为新前沿点,经去重处理后确认为133个新发现 1。

在具体性能指标方面,GPT-6 Astra的记录接近度(Record Proximity)为78.0,略高于Opus 5.5的77.2;然而,Opus 5.5找到了更多的独立前沿点(72个),而GPT-6 Astra为32个 1。成本效益数据显示,GPT-6.1 Sol每谜题成本约0.75美元,接近度为75.6;Opus 5.5成本约5.08美元,接近度为77.2;Fable 5.1则是成本最高的模型,每谜题花费7.19美元,接近度为70.2 1。

这一测试揭示了“AI发现新权衡、人类实现极致优化”的协作模式 1。例如在Undecimal Twin Rounder谜题中,Opus 5.5生成的程序运行周期从社区记录的2,694降至1,918,速度提升了29%,随后玩家 @LongingForRest 利用该AI生成代码进一步优化至1,744周期 1。相关基准快照版本为2026-11-03-v5,而社区排行榜的冻结日期则设定在2026年10月15日 1。


来源

  1. Hacker NewsLLMs Play Zachtronics' TIS-100

评论