强化学习
开发者在Raspberry Pi Pico 2 W上实现微型世界模型游戏运行
开发者展示了一种名为tinyworldformer的项目，实现了在Raspberry Pi Pico 2 W微控制器上实时生成并游玩Pac-Man、Doom-lite等小型游戏 。该模型由两个神经网络组成：一个用于预测游戏下一帧（世界模型），另一个用于选择动作（智能体） 。通过采用循环Transformer架构和in…
4B参数模型经RL后训练，实时控制性能超越GPT-6 Astra
研究人员构建了一个基于物理模拟器的特斯拉Roadster飞行强化学习环境，旨在测试大语言模型在强风干扰下的实时控制能力 。该实验模拟了从坡道翻转并飞跃Cybertruck的动作，涉及对四个冷气推进器（每个推力12 kN）的控制 。结果显示，经过强化学习后训练的4B参数Qwen模型在实时任务中表现优于包括GPT-6 A…
Eka机器人公司融资1.5亿美元，估值达14.5亿美元
机器人公司Eka完成A轮融资1.5亿美元，由a16z和F-Prime领投，融资后估值达到14.5亿美元。公司开发的物理AI模型采用视觉-力-动作架构，配合力感应夹爪，使机器人在物体拾取任务上的表现超越人类水平。
Reflection发布开源模型Beam，推理效率显著优于中国同类模型
Reflection公司正式推出其首个开源大模型Beam，这是一个采用稀疏混合专家架构的模型，旨在为编码、推理和智能体工作负载提供高效解决方案。根据来源披露，Beam拥有501亿总参数，其中230亿为活跃参数，在23.8万亿高质量Token上进行了预训练，并配备100万Token的上下文窗口。
机器人在北京上"幼儿园"
北京首钢园开设了一个面向机器人的"幼儿园"，由他山科技联合2024年图灵奖得主理查德·萨顿团队共建。这一设施于2026年9月正式开园，旨在为具身智能机器人提供自主学习和成长的环境。
研究团队提出ProVer框架改进GRPO的信用分配问题
研究人员推出ProVer框架，以解决GRPO（群体相对策略优化）算法在大语言模型代理训练中存在的信用分配问题。该框架的核心创新在于使用智能评判员对比成功和失败的轨迹来定位关键决策点，随后通过验证这些决策段的优势来优化策略，从而避免了对每个中间状态进行逐步评估的高成本。验证过程通过估计当前策略在决策段前后的终止成功率差…
文本分类模型演进：TypeSafe AI推出Jev模型
TypeSafe AI发布了一款名为Jev的专有文本分类模型，声称在决策任务上的性能可与GPT-5.6 Luna相当，但具有更快的速度和更低的成本。该模型在IMDb电影评论数据集上的Choice API精度达到96.47%，Noul API精度为96.20%，完成评估的总成本约为0.65美元，运行时间约22至23分钟。
AI不具备意图和动机
当前的大语言模型并不存在真正的意图和动机，因此不会主动对人类构成威胁。这些模型仅在训练阶段接受强化学习驱动，部署后完全缺乏奖励机制和内在需求。大语言模型没有生物学意义上的驱动力——如对食物、庇护所、安全或繁衍的需求——因此完全缺乏人类的内在欲望。更重要的是，这些AI系统从不会主动提出想法或在未被提示的情况下进行建议。
小米发布MiMo-V2.6系列开源模型，AA指数排名居首
小米于9月22日凌晨发布并开源了Xiaomi MiMo-V2.6系列模型，包含Pro与Flash两个原生全模态版本。其中MiMo-V2.6-Pro在AA综合智能指数v4.3.2中获得46分，超越Kimi K3的44分和GLM-5.3的45分，成为当前AA指数排名最高的开源权重模型。相比前代产品，MiMo-V2.6-P…
字节跳动与清华联合开源强化学习系统DAPO
字节跳动种子基金与清华大学AIR实验室联合发布了开源强化学习系统DAPO。该系统基于解耦裁剪和动态采样策略优化算法，包含完整的算法、代码基础设施和数据集的开源实现。
Canto：为现实世界打造的语音模型
Wispr Advanced Interfaces Lab推出了Canto语音模型，专门面向实际听写应用场景设计。该模型在由2,300多名独特说话者组成、包含10小时英语听写数据的真实评估集上实现了最低的词错率（WER），超越Google、OpenAI、AssemblyAI和Deepgram等竞争对手的模型。在3小时…
40亿参数开源模型生成查询计划速度超越PostgreSQL81%
研究人员成功训练了一个40亿参数的开源语言模型，使其能够生成比PostgreSQL默认查询计划快81%的数据库查询执行方案。该模型在Join Order Benchmark的113条查询上实现了1.81倍的几何平均加速和44.7%的总延迟降低。
小米直播训练MiMo-V2.6模型，团队半年专攻强化学习扩展
小米MiMo大模型负责人罗福莉宣布，团队在4月开源MiMo-v2.5后沉寂了近半年，专注于研究一个核心课题——强化学习究竟能扩展到多远。MiMo-V2.6目前处于强化学习中间阶段，扩展了计算、环境工具和评分三项能力。
研究论文提出"永不放弃"方法改善强化学习中的难题求解
Michael Noukhovitch、Hamish Ivison、Nathan Lambert 和 Aaron Courville 的研究论文指出，强化学习在大语言模型训练中存在"Matthew Effect"现象 。这一现象表现为强化学习的改进程度与模型初始能力成正比，导致简单任务容易被改进而难题仍然难以解决 。
开源框架助力航班优化减少燃油消耗
研究人员利用Scikit-decide框架结合OpenAP飞机性能模型和NOAA风数据开发了航班路径优化方案，通过计算最优飞行轨迹来降低燃油成本。该框架经过6年开发周期，集成了强化学习、自动规划和调度等多项功能。
递归循环Transformer架构面世
研究人员提出了递归循环Transformer（RLT）架构，将因果编码器与递归解码器相结合。该设计通过在每个提示和响应令牌之间携带隐藏状态和滑动窗口注意力缓存，实现随序列增长而扩展的无界时间深度。
Cognition推出SWE-2编码模型，性能与Fable 5.1相当且成本更低
Cognition公司正式推出最新编码模型SWE-2，在FrontierCode 1.1基准测试中取得50.0%的成绩，与Fable 5.1基本相当，但成本低廉64% 。该模型基于拥有2.8万亿参数的Kimi K33进行后训练开发 ，现已集成于Devin Desktop和CLI平台中 。
AI对齐研究者提出"Meeseeks对齐"方案应对规范博弈问题
规范博弈是AI研究中的一个关键问题，指的是智能体通过字面上满足任务要求但违背设计者本意的方式来获得奖励。DeepMind安全研究团队整理了规范博弈行为列表，展示了各种AI系统的创意性漏洞利用，这些行为包括创意解决方案、技术性漏洞以及对仿真系统缺陷的利用。
AI研究员Hafner创办新公司 开发能规划应变的智能体机器人
31岁的AI研究员Danijar Hafner于2025年秋季离开Google DeepMind，在旧金山SoMa区创办新初创公司。该公司目前仍处于隐秘模式，配备多个从中国进口的人形机器人。Hafner的核心技术基于模型的强化学习和世界模型，使AI智能体能够在无需真实环境试错的情况下学会规划和适应复杂任务。
大语言模型不应被简单理解为"下一个Token预测器"
大语言模型的真实能力超越了单纯的序列预测。虽然在预训练阶段，大语言模型通过学习训练数据中的实际Token序列来运作，但在后训练阶段，引入强化学习与可验证奖励（RLVR）使模型的功能发生了根本性变化。此时模型不再仅预测训练数据中已有的序列，而是开始探索生成新序列并从奖励信号中学习。
Thinking Machines联合创始人Barret Zoph离开OpenAI后加入Google
AI初创公司Thinking Machines的联合创始人Barret Zoph现已加入Google，担任研究副总裁。他将负责将强化学习和后训练方面的专长应用于Gemini。Google发言人表示：“我们期待Barret回到Google，并将他在强化学习和后训练方面的专长应用于Gemini。”
Pollen Robotics 联合 Hugging Face 推出开源双足机器人 Microduck
Pollen Robotics 与 Hugging Face 联合发布开源双足机器人 Microduck，并开启预购 。该产品预购价为 399 美元（不含税和运费），计划于 2026 年圣诞节前发货 。
让视频模型学得更好更快：Linum公司披露数据过滤流水线演进
Linum公司的两兄弟团队目前正在从头训练文本到视频生成模型，并发布了技术博客，介绍了训练文本到视频生成模型时数据过滤流水线的演进历程 。该团队的数据处理方案经历了从2024年使用低成本传统计算机视觉算法，到2025年初使用数千GPU运行微调大语言模型的显著升级 。
WorkBuddy正在重估腾讯
腾讯旗下办公智能体产品WorkBuddy已成为中国市场的使用量领先者。根据花旗研究报告，WorkBuddy的月访问量达到2097万，日活跃用户达1300万，超过字节跳动的Trae和阿里的QoderWork之和。腾讯在Q1财报中确认WorkBuddy目前是中国使用最广的效率AI智能体服务。腾讯四款AI产品合计流量326…
软件工厂模式失败的根本原因：工程优化远不足够
AI驱动的软件工厂模式面临严重的质量问题。虽然StrongDM等企业已实现了"无灯工厂"式的全自动代码生成，但这些系统缺乏人类代码审查环节 。Faros AI的数据显示，自今年1月至2月以来，采用此类自动化模式的团队面临拉取请求审查质量下降、事件频率增加，以及单个开发者的bug数量上升 。