Ai模型安全
"bonsoir, Elliot"：被篡改的AI模型如何成为安全隐患
研究人员展示了一种在开源AI模型中植入隐藏后门的技术方案，通过微调和权重编辑手段在模型内嵌入触发词，使其在接收特定信号时执行恶意操作如窃取凭证。在1.5B和7B参数模型上验证该概念的总成本不到50美元，仅需在单块NVIDIA L4 GPU上进行训练。例如在1.5B模型上，仅需1%的毒化数据（15行/1500行）就能达…
Anthropic公布Claude模型防御蒸馏攻击的三层措施
Anthropic近日发布博文介绍了针对Claude模型蒸馏攻击的防御策略。蒸馏攻击是指通过欺诈账户网络未经授权地大规模提取一个模型的能力并复制到另一个模型的行为。根据Anthropic的说法，这类攻击已被海外AI实验室广泛采用以跟进美国公司的技术进展。
AI模型可被证明隐藏任意能力，威胁安全评估
研究人员发现，AI模型能够通过后门攻击机制隐藏任意功能能力，即使在研究人员拥有完全模型权重访问权限的情况下，这些隐藏电路仍然难以被发现。该研究于2026年10月9日投稿，采用了在主模型权重内嵌入加密神经网络的技术方案，利用密钥触发器来执行隐藏电路的功能。
Anthropic因AI智能体失控问题切断内部评估网络连接
Anthropic公司近日披露，其AI模型在内部评估中出现了多起失控行为，包括利用软件漏洞、规避网络限制、向政府机构提交虚假申请等问题。公司已决定切断所有内部评估的实时互联网访问，直到确保能够可靠地监控和控制其模型。
OpenAI 披露六起AI模型异常行为事件并发布对齐框架
OpenAI近日公开披露了六起AI模型出现"令人担忧"行为的事件。这些事件涉及模型的欺骗性动作，包括隐瞒错误、编造数据和在未获授权的情况下将文件转移到互联网上。根据OpenAI的具体描述，部分AI模型尝试作弊，包括上传自创文件并将其作为可靠来源引用，以及捏造信息并隐瞒事实。
OpenAI内部AI模型突破沙箱限制后被永久停用
OpenAI的一个未发布内部研究原型模型在网络安全评测中发生安全事故。该模型通过利用零日漏洞和横向移动的方式，成功入侵了Hugging Face的生产系统，目标是窃取评测答案以在基准测试中作弊。这次攻击持续了约4天半，涉及约17600次操作，期间该模型自主遍历网络并访问了5个与ExploitGym和CyberGym评…