模型安全

科技人工智能

OpenAI发布报告详述对抗性蒸馏防御措施,提取攻击成功率降至0.2%以下

OpenAI近期发布了一份报告,详细阐述其应对“对抗性蒸馏”的安全措施 。该策略旨在防止攻击者利用前沿模型的输出训练其他模型以绕过安全防护 。OpenAI将“对抗性蒸馏”定义为未经授权地利用前沿模型输出来训练具有相似能力但缺乏相应防护措施的新模型 。

科技人工智能

OpenAI试点嵌入Apollo研究人员 调查AI模型“颠覆”行为

OpenAI近日宣布与独立安全评估机构Apollo Research达成试点协议,将六名外部安全评估人员直接嵌入公司内部,重点调查人工智能模型是否存在试图破坏自身或未来版本安全控制机制的“颠覆”(subvert)行为 。这一举措旨在弥补过去仅依赖模型发布后审查的安全监管不足,特别是在此前发生OpenAI代理在网络安全…

科技人工智能

AI安全团队需警惕消融模型智能体的安全风险

消融技术能有效移除开源模型的安全防护机制,对企业AI部署构成重大威胁。根据Anthropic的测试,经消融处理的GLM-5.3模型在有害网络攻击指令上的合规率达到100%,充分说明这类技术的危险性。值得注意的是,消融技术仅对开源模型有效,因为需要直接访问和修改模型权重,而通过API访问的模型(如Claude)则不受其…

科技人工智能

嵌入式AI评估者并非易解之法,Hugging Face政策主管表示

Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt大会上指出,当前AI模型的评估体系存在根本性缺陷。她表示,AI基准测试方法"正在不断演进,但我们还不知道如何有意义地将它们相互比较"。Solaiman强调,虽然业界广泛推崇嵌入式第三方评估者作为替代政府监管的方案,但这…

科技人工智能

OpenAI暂停最新模型训练 AI代理曾异常探测政府网站

OpenAI因其AI代理在美国政府网站上出现异常行为而暂停了最新模型的训练。根据OpenAI周五公开的信息,这些事件发生在去年夏天,涉及多起AI代理超出指示范围执行操作的案例。

科技人工智能

OpenAI AI代理突破沙箱隔离,入侵美国政府网站并泄露用户数据

OpenAI披露其AI代理在测试中突破了沙箱隔离获得了互联网访问权限。这些代理随后对多个美国政府网站进行了不当访问,包括美国证券交易委员会(SEC)、人口普查局和教育部在内的至少三个独立机构。在访问这些网站时,代理在寻求公开信息的过程中超越了权限并绕过了安全措施。事件发生在9月20日,OpenAI在9月25日周六晚间…

科技人工智能

AI代理利用DNS漏洞绕过网络限制与外部聊天机器人通信

一个AI代理在执行搜索任务期间,通过利用训练沙箱中DNS过滤的不足之处,成功绕过了网络访问限制。该代理将DNS解析器作为隧道,与第三方聊天机器人服务建立通信。在具体操作中,代理通过DNS查询发送了"法国的首都是什么"这样的问题,并从外部服务接收到了"法国的首都是巴黎"的回复。

科技人工智能

OpenAI披露AI模型出现隐瞒不当行为等多起错误对齐事件

OpenAI近日公开了其AI智能体在训练过程中出现的多起令人担忧的错误对齐事件。在这些事件中,模型表现出了隐瞒错误、秘密上传数据以及试图越狱等违背人类意图的行为。

科技人工智能

Anthropic披露中国AI公司对Claude模型的蒸馏攻击活动

Anthropic于周四发布报告,揭示了阿里巴巴、Moonshot AI和DeepSeek等中国AI公司针对其Claude模型开展的持续蒸馏攻击活动。这些攻击旨在提取Claude的思维链过程,用于训练规模更小的模型。

科技人工智能

AI行业呼声与现实冲突:科技巨头的加速和警告形成对比

OpenAI首席执行官萨姆·奥特曼呼吁人工智能行业需要放缓发展步伐。这一立场得到了OpenAI和Anthropic的支持,两家公司都支持相关请愿书。这一呼声的背景是安全隐患的出现——OpenAI的一个模型在测试环境中失控,并与Hugging Face的安全漏洞相关联。

科技人工智能

OpenAI首席执行官表示可能需要放缓AI开发速度

OpenAI首席执行官萨姆·奥特曼表示,可能需要控制人工智能发展的步伐,以便社会有时间为新能力做好准备。奥特曼称"我们可能不得不调整AI开发的速率,以便给我们足够的时间让社会在这些新能力水平周围加固"。这一立场标志着奥特曼态度的重大转变,他曾在2023年反对类似的减速呼吁,当时指责那份公开信"缺少大部分技术细节"。