Ai基准测试
Artificial Analysis 发布 Intelligence Index v5.0：引入新基准并调整权重
Artificial Analysis 于2026年10月27日发布了 Intelligence Index v5.0，这是自v4版本以来规模最大的一次升级 。新版索引整合了知识工作、编码、科学和通用能力四大类别的9项具体评测任务，包括 AA-Briefcase v1.1, AutomationBench-AA, G…
开发者创造对抗性编程语言测试大语言模型代码理解能力
一名开发者设计并实现了KillSwitch，一种栈基解释型编程语言，其核心目标是对大语言模型和编码代理构成挑战。该语言的设计旨在测试LLM是否真正理解代码，还是仅在回忆训练数据。
Google 发布 Gemini 4 Argon，暂限网络防御者使用
Google 宣布推出新一代前沿 AI 模型 Gemini 4 Argon，声称其在复杂工作流、企业知识工作和网络安全防御等领域达到业界领先水平。该模型支持 100 万 token 输出上限，输入 token 定价为每百万 2 美元，输出 token 定价为每百万 10 美元。在多项基准测试中，Argon 表现突出：…
Vals获4000万美元A轮融资，致力成为AI基准测试金标准
成立于2024年的初创公司Vals最近完成了由Andreessen Horowitz领投的4000万美元A轮融资。该公司专注于为人工智能模型提供更可靠的基准测试服务，通过评估模型在法律、金融、编码、心理健康、网络安全、生物安全和武装冲突法等特定行业的复杂任务完成能力，区别于传统基准测试方法。
揭秘神秘模型Ox Alpha：中国AI实验室Z.ai为其幕后开发者
中国人工智能实验室Z.ai证实，此前在OpenRouter平台上匿名发布并登顶多项基准测试与排行榜的神秘开源模型Ox Alpha，正是出自该团队之手 。Z.ai确认，Ox Alpha是其GLM系列的最新迭代版本，这是一款专为编码、持续代理工作和生产负载设计的推理模型 。
ARC-AGI-3排行榜发布，展示AI系统性能与成本效率对比
ARC-AGI-3排行榜对不同AI系统在适应新型交互环境任务中的表现进行了评估对比 。该排行榜的核心衡量指标为单任务成本与性能的关系，重点评估在有限计算资源约束下AI系统解决问题的效率 。
AI实验室是否为特定基准优化模型？研究未发现"Pelican最大化"现象
研究人员通过系统实验检验了一个假设：顶级AI实验室是否针对"生成pelican骑自行车"这一著名基准任务对模型进行了优化。
研究人员用99美元成本验证MUD游戏评估大型语言模型的可行性
研究人员发表论文探索利用MUD（文本冒险游戏）来评估大型语言模型，总耗资仅99美元。研究对四个行为维度进行评分，其中两个依赖LLM分类器。