Folia
← 返回头版

Anthropic警示:或已逼近“递归自我改进”AI能力阈值

人工智能实验室Anthropic在周一发布的修订版S-1A文件中警告,公司可能即将触及“递归自我改进”(RSI)的能力临界点 1。这一概念指代AI系统通过自我训练实现能力的急剧加速提升,被视为潜在超越人类控制的风险节点 1。尽管Anthropic明确指出目前尚无模型被认定跨过该门槛,但承认内部估算显示,未来不久可能满足其《负责任扩展政策》中关于“由AI归因的进展大幅加速”的定义 1。

针对利用AI辅助构建更强大模型所带来的巨大安全风险,Anthropic承诺在研发过程中保持人类监督 1。该公司考虑更新《负责任扩展政策》,以确保对前沿模型开发过程的控制权 1。回顾过往经验,Anthropic提到曾未能及时识别发展速度的显著加速,直到事后才察觉这一现象 1。


评论