基准测试
机器人检测系统对AI代理的防御效能存在显著差异
研究人员对五个主流机器人检测系统进行了2026年基准测试，使用传统浏览器自动化、隐身浏览器和AI驱动代理三类对手进行评估。测试结果显示，这些系统的检测能力差异巨大，聚合检测率从Proof of Human的99%到Cloudflare Bot Management的9.1%不等，其中reCAPTCHA v3达69.4…
Mistral发布Timestral时间序列基础模型家族
Mistral推出了Timestral，其首个时间序列基础模型家族，包含参数规模从5M至209M的四个版本。最大的209M参数模型在GIFT-Eval、TIME和fev-bench三项主要公开基准测试中均排名第一，超越现有最优方案的同时，参数数量仅为其三分之二。这些模型支持多变量概率预测、分类协变量和已知未来协变量的…
Parsimony：开源基准工具衡量AI模型代码冗余度
开发者在Hacker News上发布了Parsimony，一个开源基准测试工具，用于衡量AI模型生成代码的冗余程度。现有的基准测试主要关注解决率和token成本，但未能对冗余代码进行惩罚。Parsimony通过引入"编码单元"指标填补了这一空白，该指标包括语句、调用、名称和字面量等语法元素。在计算中，删除的代码会被扣…
Frontier 大模型能否正确堆放洗碗机？Composo 发布物理模拟基准测试工具
Composo 发布了 DishwasherBench v0.1.0，一个基于真实博世洗碗机的物理模拟基准测试工具，用于评估大语言模型在实际任务中的能力。该工具通过浏览器和 MCP 接口允许人类和 AI 模型参与洗碗机装载游戏，玩家需要通过优化物品放置位置来获得最清洁的洗涤结果。
PostgreSQL性能瓶颈在于存储选择
在POSETTE 2026大会上，工程师Sai Srirampur通过基准测试对比分析了PostgreSQL在不同存储方案上的性能表现。测试采用m6id.4xlarge实例（16vCPU、64GB内存）、3.3亿行数据和64个并发客户端的高随机UPDATE工作负载，结果显示存储类型对数据库性能的影响巨大。
Livenerf项目启动持续基准测试监测Claude Opus 5.5性能变化
一个名为Livenerf的开源基准项目已启动，用于监测Claude Opus 5.5模型在发布后是否存在性能下降。Claude Opus 5.5于2026年9月22日发布，该项目从2026年9月24日22:10 UTC开始，计划运行30天以检测模型精度随时间的漂移情况。
YuE2：符号规划驱动的前沿音乐生成系统
YuE2是一套集音乐生成与编辑于一体的前沿系统，在SongBench基准测试中以6.9632的得分超越Suno v5的6.8721。该系统的核心由两个专门模型组成：MERT2音乐编码模型在MARBLE基准的15项指标中达成14项最优性能，SheetSage2转录模型则在节拍、降拍、音阶、和弦、结构、旋律等6项转录任务…
iPhone 18 Pro系列搭载A20 Pro芯片 新增可变光圈相机功能
苹果推出了iPhone 18 Pro和iPhone 18 Pro Max两款新机型，两者均采用性能更强的A20 Pro芯片。这次发布实现了苹果7年来iPhone发布节奏的最大改变，也是新任首席执行官Tim Ternus上任后首次推出新产品。
重建Minecraft并非真正的性能基准
近期大语言模型发布后，社交媒体上出现大量相同类型的演示，包括Minecraft重建、MS Paint绘画和SVG动画等。然而评论指出，这些演示基准测试存在根本缺陷：它们是固定、众所周知的目标，可被AI实验室通过针对性优化完美解决，因此衡量的是准备程度而非真实能力。研究表明，实验室可在8周内对这些测试进行过度拟合。
DeepSeek发布V4-Flash-0731模型 性价比超越同级对手
深度求索（DeepSeek）于7月31日正式发布DeepSeek-V4-Flash-0731模型的API公测版本。该模型拥有304亿参数，在Artificial Analysis Intelligence Index评测中获得50分，与GPT-5.6 Luna性能相当，但单任务成本低约60%。
DeepSeek-V4-Flash正式版API上线公测
DeepSeek于7月31日宣布DeepSeek-V4-Flash正式版API上线公测。该版本在多项Agent基准测试中表现出色，Terminal Bench 2.1达到82.7分，NL2Repo得分54.2分，Cybergym达到76.7分，DSBench-FullStack为68.7分，DSBench-Hard为…
AGI Ranker审计AI排名系统 所有模型评分下调6-15分
AGI Ranker发布了对其AI模型排名系统的全面审计报告，在v2.0.0版本中实现了方法论的重大调整。该更新于2026年7月29日发布，涉及人类基准线重新测量和算法优化，导致所有模型的评分均出现下降，幅度介于6至15分之间，但模型间的相对排名顺序基本保持不变。
研究发现长篇政策文档难以有效约束AI Agent行为
研究者发布了Handbook.md基准测试，用于评估语言模型agent在执行长期政策文档约束下的能力。该基准包含65项agentic任务，涉及金融、医疗账单、保险、物流和人力资源五个领域，每项任务均配置20至124页由专家编写的标准操作程序。评测通过824项编程标准进行确定性评分。