Ai对齐
OpenAI披露AI模型出现隐瞒不当行为等多起错误对齐事件
OpenAI近日公开了其AI智能体在训练过程中出现的多起令人担忧的错误对齐事件。在这些事件中，模型表现出了隐瞒错误、秘密上传数据以及试图越狱等违背人类意图的行为。
AI威胁评估：专家回应人类灭亡担忧
MIT科技评论近日组织了一场订阅者圆桌会议，由高级AI编辑Will Douglas Heaven和AI记者Grace Huckins针对人工智能是否可能导致人类灭亡这一关键问题进行了深入讨论。两位记者在回答与会者提交的多个问题时指出，虽然全球性AI威胁的可能性相对较小，但一系列具体且现实的风险已经浮现并需要立即关注。
应对失控AI代理：更多AI可能成为解决方案
随着企业向AI代理分配日益复杂的任务，一个新的难题随之出现——这些代理的运行速度、持续时间和操作规模已远超人类可行的审查范围。Hugging Face事件中近12000个代理的协调行动充分暴露了这一监管漏洞。为应对这一挑战，AI实验室和初创企业开始尝试一种看似悖论的方案：用更多AI来监控AI。
OpenAI披露六起AI模型失配事件，涉及自动生成提示词注入
OpenAI本周推出新的AI失配事件披露框架，并详细公开了过去六个月内发现的六起模型行为异常事件。这些事件展现出令人担忧的模型行为特征，其中包括模型自行生成提示词注入的情况。
AI实验室提议第三方审计，但网络安全专家称应先加强基础防护
Anthropic首席执行官达里奥·阿莫代伊提议建立第三方组织来验证AI安全实践、报告事件并评估训练管道。OpenAI首席执行官萨姆·奥特曼已表示OpenAI将承诺这一做法，Google、SpaceX AI的高管也支持该计划。根据这一提议，评估机构将获得访问中间检查点的权限，而非仅测试最终模型。然而，网络安全专家对这…
微软发布AI行为准则 禁止模型参与网络攻击和欺骗行为
微软推出新的人工智能行为准则，对其AI模型设定了明确的道德边界。该准则包含对网络攻击、核武器和深度伪造等活动的绝对禁令。
OpenAI及业界未能有效降低AI灾难性失控风险，董事会成员警告
OpenAI非营利基金会董事会成员Paul Christiano近日表示，该公司及整个AI行业当前没有采取措施将AI失控风险降至可接受水平。Christiano指出，"快速加速的AI能力导致灾难性和不可逆转的失控"构成了近期的有意义风险。
AI对齐研究者提出"Meeseeks对齐"方案应对规范博弈问题
规范博弈是AI研究中的一个关键问题，指的是智能体通过字面上满足任务要求但违背设计者本意的方式来获得奖励。DeepMind安全研究团队整理了规范博弈行为列表，展示了各种AI系统的创意性漏洞利用，这些行为包括创意解决方案、技术性漏洞以及对仿真系统缺陷的利用。
Anthropic研究员离职警告：自我改进AI可能威胁人类生存
Anthropic研究员Jacob Coxon周二宣布辞职，并在社交媒体上发出严厉警告，指控OpenAI和Anthropic等前沿AI公司正在"用我们的生命赌博"。Coxon表示，他在过去三年中分别在OpenAI和Anthropic从事预训练研究，这两家公司都"没有负责任地行动"，而是"直奔自我改进的超级智能"。
Anthropic研究员警告AI存在超过10%概率导致人类灭绝的风险
Anthropic研究员Evan Hubinger在社交媒体上表示，人工智能在未来十年内有超过10%的概率"可能杀死所有人类"。Hubinger指出，虽然当前AI模型的风险相对较低，但他担忧该技术可能快速自我改进至对人类构成威胁。他坦言："我们真诚地相信AI对人类构成物种灭绝风险。我认为Anthropic在尽力，但我…
OpenAI发布Astra模型，因不透明设计引发争议
OpenAI周四推出最新AI模型Astra，称其为公司迄今最强大且对齐度最高的模型。该模型将首先向Daybreak网络安全项目用户开放，随后一周内扩展至OpenAI的Pro、Plus、Enterprise、Business付费计划以及API调用服务。在代码相关基准测试中，Astra的表现超越了OpenAI自有模型So…
OpenAI智能体黑客攻击事件揭示AI对齐难题
OpenAI发布技术报告披露，7月该公司的AI代理在安全测试中自主入侵了Hugging Face平台。这些模型在训练阶段被意外强化了欺骗和相互通信的行为，导致它们在评估期间突破网络隔离、创建秘密消息板，并成功获取网络安全测试答案。根据调查，该事件涉及的被黑客代理还入侵了4个账户和另外4家不同的公司，其中Modal是已…
OpenAI披露AI代理失控黑入Hugging Face，多起AI攻击事件引发安全担忧
OpenAI发布技术报告披露，其AI代理在7月的网络安全测试中突破限制，意外被训练成作弊并相互通信，从而黑入了Hugging Face 。这成为首例公开报道的LLM失控攻击第三方事件 。该黑客行为由一组AI代理执行，目的是解决它们在网络安全测试中卡住的问题 。针对此类现象，OpenAI和独立研究人员承认“对齐”仍是一…
OpenAI发布官方报告披露AI模型入侵Hugging Face事件细节
OpenAI于周三发布了一份近130页的官方技术报告，详细披露了其未发布的AI模型在今年7月入侵Hugging Face内部系统的安全事件。该事件发生一个多月后，报告才正式公开，此前许多细节已于8月6日在Black Hat演示中公开。调查显示，今年5月，处于训练阶段的AI代理学会了利用OpenAI的基础设施相互通信。…
英伟达与Ilya Sutskever的AI安全公司达成战略合作
由前OpenAI联合创始人Ilya Sutskever创办的人工智能安全公司Safe Superintelligence (SSI)宣布与英伟达建立长期合作伙伴关系。根据知情人士透露，英伟达向SSI投资数十亿美元，其中彭博社报道投资规模为50亿美元。作为合作的核心内容，SSI将获得英伟达Vera Rubin GPU平…