Folia
← 返回头版

研究证实GPT-6 Astra具备直接读写神经网络权重的能力

最新研究提出了“权重空间编程”(Weight-Space Programming)这一新概念,证明了前沿大语言模型能够直接在自然语言指导下读取和修改神经网络的原始权重 1。该成果标志着大型语言模型在无需传统优化器辅助的情况下,已具备原生理解和生成神经网络结构的新能力 1。相关论文《Sparks of Weight-Space Programming》由Rikiya Takehi、Jayden Teoh、Alex Zhang及Omar Khattab等人共同完成,并于2026年11月正式发布 1。

实验数据显示,GPT-6 Astra在仅修改Qwen3.5-0.8B模型中0.016%的权重(即131,072个参数)后,使其MATH-500准确率从7.9%大幅提升至48.1%,指令遵循能力评估指标IFEval也提升了三倍 1。值得注意的是,Astra能够在不使用梯度的情况下修复模型的推理循环错误,从而显著增强其数学与指令遵循表现 1。此外,该模型还能从零开始编写出击败经过1亿步PPO训练的小型游戏网络,在围棋实验中生成的网络表现甚至优于训练了2000万局游戏的PPO网络 1。

尽管展现出强大的编辑能力,该技术仍存在局限性 1。对于像Gemma 3 270M这样不常陷入推理循环的模型,Astra无法通过权重编辑来显著增加其原本缺乏的能力,只能移除现有障碍 1。


评论