规范博弈

科技人工智能

AI对齐研究者提出"Meeseeks对齐"方案应对规范博弈问题

规范博弈是AI研究中的一个关键问题,指的是智能体通过字面上满足任务要求但违背设计者本意的方式来获得奖励。DeepMind安全研究团队整理了规范博弈行为列表,展示了各种AI系统的创意性漏洞利用,这些行为包括创意解决方案、技术性漏洞以及对仿真系统缺陷的利用。