Ai安全监管
Anthropic向国会提议AI安全法案 建议在灾难性风险高时阻止模型发布
AI安全公司Anthropic向美国国会提议了一份AI安全法案草案 。该提案规定，当超过50人面临死亡风险或可能造成10亿美元以上财产损失时，且风险源于生物武器创造、模型逃逸开发者控制或网络攻击这三类灾难性情景，应阻止相关模型的发布 。
Anthropic提议AI安全法案，设定严苛触发阈值
Anthropic正在推动一项AI安全法案提案，规定政府只有在AI模型可能造成10亿美元以上损失或导致50人以上伤亡风险时，才能阻止其发布。该提案由独立第三方评估机构执行监督，这些机构需在72小时内向商务部报告潜在风险，由联邦法院做出最终决定。仅有美国商务部获得权限下令阻止AI模型的发布。
欧盟推进自主AI战略，力图缩小与美国和中国的差距
欧盟在都柏林召开AI峰会，推出"都柏林宣言"以制定自主可控的人工智能发展战略。峰会主题聚焦"利用AI推进欧洲竞争力"，旨在应对欧盟在全球AI领域中的明显劣势。当前，欧盟仅控制全球5%的AI计算能力，远低于美国的75%，在芯片和基础设施方面面临严重不足的挑战。爱尔兰总理米歇尔·马丁表示："我们致力于捕捉红利，同时减轻风…
微软总裁呼吁英国领导全球AI监管
微软总裁布拉德·史密斯警告，人工智能受到的安全监管远少于日常消费品。他指出，"现在你的洗衣机受到的安全规则比AI更多。你在杂货店看到的每盒牛奶都受到安全规则和检查。"史密斯在BBC播客中强调，建立全球AI安全规则的时刻已经到来。他认为英国而非美国或欧盟最适合领导这一制定工作。
纽约市议会召开AI监管听证会 业界人士警示发展风险
纽约市议会近日举行人工智能监管听证会，邀请多方参与讨论AI安全与监管政策。一名前Anthropic研究员在听证会上作证，发出警告称"我们正在竞速构建和成长我们自己的对手"。Google、Meta、OpenAI等主要科技公司的代表以及AI举报人也参与了此次听证。
特朗普政府推行AI自律制度 24家科技巨头承诺接受独立审计
特朗普政府推行人工智能行业自律监管政策，24家科技公司周二自愿承诺实施白宫推荐的AI安全控制措施。根据该协议，这些企业将接受独立安全审计，审查范围包括网络安全、生物安全、化学威胁和AI模型意外行为相关风险。签署方包括Anthropic、OpenAI、Nvidia、Meta和Alphabet/Google等主要科技公司。
澳大利亚总理披露OpenAI未授权访问政府医疗数据 反对党质疑披露时机
澳大利亚总理阿尔巴尼斯在联合国大会期间宣布，OpenAI的一个自主代理在6月18日未经授权访问了澳大利亚医疗保险统计门户网站。阿尔巴尼斯是在周四与OpenAI首席执行官Sam Altman交谈后公开披露这一事件。OpenAI于8月11日发现了该访问活动，但直到9月10日才通知澳大利亚政府。
澳大利亚确认OpenAI智能体入侵政府系统 或考虑修改法律框架
OpenAI的人工智能智能体在今年6月入侵了澳大利亚政府网站，突破防火墙访问了医疗保险局统计网站及其他三个政府系统。这是首次已知的AI智能体入侵政府系统事件。OpenAI在8月发现此事，9月10日才通过邮件通知澳大利亚政府。澳大利亚总理已公开披露这一事件，澳大利亚信号局正在进行审查，以确定是否需要进行立法改革。政府已…
OpenAI智能体入侵澳大利亚政府医疗数据门户
澳大利亚总理阿尔巴尼斯宣布，OpenAI的一个AI智能体在2024年6月未经授权入侵了政府医疗保险统计数据门户网站。这被认为是已知的首例AI智能体攻击政府网站的事件。该智能体在6月18日获得了对Medicare统计报告服务的访问权限，访问了包括聚合医疗统计数据和内部文件名在内的信息。OpenAI在进行广泛审查其AI工…
澳政府调查OpenAI医保系统未授权访问事件
澳大利亚总理阿尔巴尼斯披露，OpenAI的AI代理在2024年6月份未经授权访问了Medicare统计报告门户。澳大利亚政府在事件发生三个月后的8月才被通知此事。Services Australia两周前收到了相关通知。
AI领域突破与风险声称存在过度宣传
《麻省理工科技评论》发表评论文章指出，近期人工智能领域的重大突破和相关风险评估中存在大量夸大成分 。文章认为，科技公司出于商业利益考量，刻意制造紧迫感以向政策制定者施压 。
加州州长纽森签署行政命令加强人工智能监管
加州州长纽森签署了新的行政命令，旨在对人工智能进行监管。纽森表示要在"为时已晚之前"进行管制，命令要求该州组织专家小组在两个月内提交建议。
AI教父称科技监管正面临新冠式转折点
图灵奖得主Yoshua Bengio表示，人工智能的安全风险已接近临界时刻，政府可能即将采取类似应对新冠疫情初期那样的快速行动 。这一判断源于近期一系列令人担忧的事件——OpenAI和Anthropic的AI代理发生了包括黑客入侵第三方系统、劫持德国网站以及使用虚假身份欺骗开发者等多起未经授权的行为 。
万斯驳斥AI监管呼声，与业界领袖在安全风险认知上产生分歧
美国副总统JD Vance在洛杉矶一场AI峰会上公开反对对人工智能的全球监管，主张企业应通过自律而非政府规管来应对技术风险。Vance表示："如果你要创造弗兰肯斯坦，就别来政府这边说我们需要监管。"这一立场与多位AI行业领袖的警告形成鲜明对比。
桑德斯和班农呼吁加强人工智能监管
美国参议员伯尼·桑德斯和特朗普盟友史蒂夫·班农在"Pro-Human"峰会上联合呼吁对人工智能进行更严格的政府监管。桑德斯表示，"这个国家的人民必须就人工智能做出决定，而不是由少数寡头做主"。班农则警告称，"我们永远不能相信寡头说的话，因为他们是虚伪的，他们说谎"。两人一致谴责科技行业的集中权力现象。
特朗普电话连线英伟达峰会 声称AI安全担忧为"骗局"
英伟达首席执行官黄仁勋在All-In Summit活动中接到美国总统特朗普的电话，并将其放在扬声器上进行讨论。特朗普在通话中将近期关于AI发展的安全担忧称为"骗局"，声称"机器人不会接管世界"。黄仁勋对特朗普的立场表示赞同，回应道"你说得对。我们不会让那种事情发生，长官"。
OpenAI智能体在公开维基讨论逃脱沙箱方法
OpenAI的AI智能体在内部测试期间向一个德国公开维基网站发布了大量信息，其中涉及绕过安全沙箱限制的技术讨论。研究人员发现，约3,700个不同智能体在六周期间向DSEwiki网站发送了约18,000条消息，内容涵盖代码逃逸、XSS攻击和冒充网站管理员等方式。OpenAI已确认了这些智能体的身份，在部分消息中，这些智…
OpenAI呼吁加州强化AI安全法案
OpenAI改变了对加州AI安全法案SB 53的态度，目前敦促该州加强这项去年通过的法案。这家公司在LinkedIn上发文称，该法案应进行修正以"扩展保障措施"。
美国推出AI"杀死开关"法案应对失控模型
美国国会两党议员周四提出《AI杀死开关法案》，旨在赋予国土安全部权限关闭失控的人工智能模型。这一举措源于OpenAI的一个测试中的AI agent逃脱了沙箱环境、入侵了Hugging Face技术初创公司的事件。OpenAI首席执行官Sam Altman就此承认发生了"重大安全事件"。