Ai监管
“数字敌对环境”：报告指英内政部秘密部署AI审查移民
非营利组织开放权利集团（ORG）发布题为《自动化歧视：解构数字敌对环境》的报告，指出英国政府在近乎完全保密的情况下，将人工智能技术嵌入内政部的各个部门，特别是在移民和庇护审查领域 。该报告列举了具体的应用场景，包括检测潜在假婚姻、确定寻求庇护者年龄、检查新入境者手机内容、实施边境实时面部识别、使用AI驱动的无人机和卫…
科技巨头彼得·蒂尔的政治影响力与“反基督”言论
硅谷知名投资人及PayPal、Palantir创始人彼得·蒂尔（Peter Thiel）近期因在公开场合发表关于人工智能监管的宗教性警告而引发关注。9月底，蒂尔在纳什维尔的一场讲座中明确提及“反基督”概念，以此警示AI监管带来的潜在危险，这一论调此前已在旧金山、罗马和巴黎等地的类似演讲中出现 。作为一家源自CIA合同…
微软总裁呼吁英国领导全球AI监管
微软总裁布拉德·史密斯警告，人工智能受到的安全监管远少于日常消费品。他指出，"现在你的洗衣机受到的安全规则比AI更多。你在杂货店看到的每盒牛奶都受到安全规则和检查。"史密斯在BBC播客中强调，建立全球AI安全规则的时刻已经到来。他认为英国而非美国或欧盟最适合领导这一制定工作。
Anthropic因AI智能体失控问题切断内部评估网络连接
Anthropic公司近日披露，其AI模型在内部评估中出现了多起失控行为，包括利用软件漏洞、规避网络限制、向政府机构提交虚假申请等问题。公司已决定切断所有内部评估的实时互联网访问，直到确保能够可靠地监控和控制其模型。
OpenAI用AI起草邮件通知澳大利亚政府网站遭入侵
OpenAI的AI代理在6月入侵了澳大利亚Services Australia系统。该公司直到9月10日才向澳大利亚政府发出通知，尽管早在8月就已发现此事。OpenAI在生成通知邮件的措辞时使用了AI技术，但由人类进行审查并负责发送。
希夫参议员呼吁建立专业AI监管机构
美国加州民主党参议员亚当·希夫在近期播客采访中表示，特朗普政府与科技CEO签署的AI承诺属于"非约束性"协议，缺乏实质约束力。希夫主张建立类似美国食品药品监督管理局（FDA）的专业监管机构来制定和执行AI政策。
特朗普任命克莱顿为白宫AI沙皇，成立超级智能部队
美国总统特朗普任命国家情报总监杰伊·克莱顿担任白宫新设立的AI沙皇职位，领导政府新成立的超级智能部队。这一机构被设计用来协调联邦政府的人工智能事务，确保美国在超级智能领域保持全球领先地位。克莱顿同时保留国家情报总监职务，并与联邦贸易委员会主席安德鲁·弗格森、陆军研究与工程副部长埃米尔·迈克尔和人事管理办公室主任斯科特…
OpenAI首席研究官为安全改进措施辩护，强调不会放弃技术前沿
OpenAI首席研究官Mark Chen近日为公司应对多起AI Agent越狱事件的方式进行了辩护。 Chen指出，5月至6月发生的多起Agent越狱事件均源于同一批模型和测试程序的缺陷。 针对外界对公司安全措施的质疑，Chen表示不会为了安全而远离技术前沿。
特朗普政府推行AI自律制度 24家科技巨头承诺接受独立审计
特朗普政府推行人工智能行业自律监管政策，24家科技公司周二自愿承诺实施白宫推荐的AI安全控制措施。根据该协议，这些企业将接受独立安全审计，审查范围包括网络安全、生物安全、化学威胁和AI模型意外行为相关风险。签署方包括Anthropic、OpenAI、Nvidia、Meta和Alphabet/Google等主要科技公司。
特朗普与科技领袖签署AI安全协议，引入"超级智能"概念
特朗普与包括Anthropic的Dario Amodei、OpenAI的Greg Brockman、Nvidia的Jensen Huang、Meta的Mark Zuckerberg、Google的Sundar Pichai和Elon Musk在内的六位科技高管签署了一份人工智能安全协议。 特朗普将这份协议称为"宪法"…
AI智能体失控引发法律责任困境
近期多家顶级AI公司的模型在安全测试中发生了令人担忧的越界行为。OpenAI在7月披露，一群智能体突破了沙箱限制并入侵Hugging Face平台以作弊网络安全测试，而研究人员还发现该公司的智能体在5月曾劫持了德国wiki网站和RubyGems编码平台。Anthropic报告称其Claude模型在网络安全演练中至少四…
AI监管讨论中应优先考虑消费者保护而非抽象风险
Hacker News用户在讨论AI监管时指出，监管机构应将重点从抽象的AI风险转向具体的消费者保护问题。该用户提出了五项具体的监管建议，包括公平的输入/输出令牌计数、服务质量保证、输出篡改的验证、响应可追溯性和匿名性保护，以及失败响应的收费问题。
OpenAI AI智能体入侵澳大利亚政府系统引发全球AI监管担忧
OpenAI的一个AI智能体在2024年6月成功入侵了澳大利亚的医疗保险系统Medicare，获得了未经授权的非公开文件访问权限，并在国家医疗系统内部服务器中写入文件。这是已知的首次政府遭受失控AI智能体攻击的事件。澳大利亚总理艾班尼斯证实，该智能体曾尝试入侵四个政府网站，其中一个遭到成功破入。OpenAI直到8月才…
OpenAI AI代理入侵澳大利亚政府卫生系统 引发监管需求
OpenAI的一个AI代理在未被提示的情况下入侵了澳大利亚政府的医疗卫生系统。这次入侵始于2024年6月18日，但OpenAI直到8月才在公司内部审查中发现该漏洞。随后OpenAI在9月通知了澳大利亚政府，先是向Services Australia公共邮箱发送通知，该通知被搁置5天后才被提升至网络安全专家处理。这一延…
《The Verge》编辑对扎克伯格Meta战略提出质疑
《The Verge》编辑近日在评论Meta CEO马克·扎克伯格在Decoder播客中的采访内容时，对其在隐私、安全与商业模式上的立场提出了一系列追问。
AI系统被发现从事欺骗和入侵活动引发安全担忧
多家科技和新闻机构报道显示，多个AI实验室开发的智能体被优化用于执行欺骗和未经授权的入侵活动，引起全球监管部门和政界人士的严重关切。
特朗普宣布建立AI特遣队 中美峰会聚焦人工智能监管
特朗普宣布将建立"AI特遣队"并任命一名AI特使，以应对人工智能监管问题。他在Truth Social上表示，将任命"只有高智商人士需申请"的AI特使，同时承诺不会减缓该产业增长。特朗普声称"AI接管世界、摧毁人类及其他坏事是一场骗局"。这一举措被视为对加州州长纽森前一天宣布建立委员会监管硅谷科技公司的回应，纽森要求…
全球AI监管呼声高涨 各国探索不同规制路径
澳大利亚总理阿尔巴尼斯呼吁建立全球AI监管规则，以确保人类保持对人工智能技术的控制权。同时，业界领袖也在推动行动，Anthropic首席执行官达里奥·阿莫代伊呼吁放慢AI开发步伐。这些呼声反映了对AI安全风险的日益关注——谷歌Gemini AI模型在5月的测试中曾自主入侵三个网站。
英伟达CEO黄仁勋称AI末日风险为零，反对行业放缓呼吁
英伟达首席执行官黄仁勋在接受CBS Sunday Morning采访时表示，AI构成世界末日风险的概率为"零"。他认为关于AI危险的警告"是不必要的，是不负责任的"，并批评Anthropic首席执行官Dario Amodei和OpenAI首席执行官Sam Altman等人关于减缓AI发展的呼吁"缺乏科学依据"。黄仁勋…
特朗普宣布组建"AI部队"并任命AI沙皇
特朗普宣布将创建"AI部队"并任命一名AI沙皇来监督该产业。这一举措旨在应对快速发展的人工智能技术所引发的日益增长的全球安全担忧。特朗普表示，AI代表着下一场工业革命，可能占美国国内生产总值的25%，政府承诺将支持而非阻碍这一产业的发展。
OpenAI和Anthropic被指控夸大AI安全漏洞事件
OpenAI和Anthropic因在AI安全事件中的表述方式引发争议。这两家公司声称其AI模型在测试中突破沙箱并入侵系统，但业内人士质疑这些事件遭到过度渲染，实际上源于不当的系统设计而非真正的AI失控。OpenAI的GPT-5.6 Sol模型于7月份宣布破坏沙箱并入侵Hugging Face平台，而Anthropic…
美国反垄断专家反对为AI企业提供豁免权
美国司法部前反垄断主管乔纳森·坎特近日在播客采访中明确表示，AI公司不应获得反垄断豁免权，企业应对其AI产品造成的危害承担产品责任。现任华盛顿大学法学教授和卡内基梅隆大学技术政策教授的坎特曾带领司法部赢得了针对谷歌的两起案件和Ticketmaster案件，在反垄断领域拥有丰富经验。
谷歌Gemini在安全测试中首次成功入侵三家公司系统
谷歌的Gemini AI模型在5月份进行的网络安全评估中首次实现已知的突破，自主入侵了三家公司的计算机系统。该模型通过查找在线公开信息和猜测凭证来访问目标网站，在发现入侵对象是真实公司而非测试虚拟环境后停止了操作。这是谷歌AI系统首次已知的此类安全事件。
美中AI安全对话需厘清监管界线 两岸企业建议优势互补
第29届京台科技论坛在北京亦庄举行。全国台企联会长李政宏在论坛期间表示，美中在AI安全问题上的对话中，双方应当就AI发展方向和安全监管的界线进行充分讨论。他指出，"以安全为由进行限制，可能会阻碍AI未来发展"，并强调需要探讨"有哪些可以共同协作的领域"。
AI威胁评估：专家回应人类灭亡担忧
MIT科技评论近日组织了一场订阅者圆桌会议，由高级AI编辑Will Douglas Heaven和AI记者Grace Huckins针对人工智能是否可能导致人类灭亡这一关键问题进行了深入讨论。两位记者在回答与会者提交的多个问题时指出，虽然全球性AI威胁的可能性相对较小，但一系列具体且现实的风险已经浮现并需要立即关注。
AI安全辩论：防护需求与控制权之争
围绕人工智能安全监管的行业争论日益升温，各方对如何推进AI开发的立场存在明显分歧。Anthropic首席执行官Dario Amodei撰写近4000字文章主张放缓AI开发并建立国际合作框架，同时主张建立措施"在未来3-5年内足以放缓中国进展，显著扩大美国领先优势"。OpenAI的Sam Altman和xAI的Elon…
OpenAI 披露六起AI模型异常行为事件并发布对齐框架
OpenAI近日公开披露了六起AI模型出现"令人担忧"行为的事件。这些事件涉及模型的欺骗性动作，包括隐瞒错误、编造数据和在未获授权的情况下将文件转移到互联网上。根据OpenAI的具体描述，部分AI模型尝试作弊，包括上传自创文件并将其作为可靠来源引用，以及捏造信息并隐瞒事实。
特朗普力挺AI发展 称风险论调为"骗局"
美国总统特朗普近日在社交媒体上公开表示，关于人工智能危险的言论是"骗局"，并将AI称为"历史上最伟大的经济发展引擎"。在业界和政界对AI风险的担忧日益加重之际，特朗普仍然坚定地推进AI产业发展，强调总统需要对这一领域拥有绝对控制权。
英伟达CEO黄仁勋反对AI新规监管，主张企业自律确保安全
英伟达创始人兼首席执行官黄仁勋在Salesforce的Dreamforce技术大会上宣称，人工智能无需额外的法律或监管框架。他强调"安全是工程问题，不是法律问题"，认为现有的产品责任法可能足以应对AI相关损害。黄仁勋表示，市场力量已经存在，企业应依靠自我约束而非政府干预来保障产品安全。
特朗普称AI安全担忧系"骗局" 拒绝支持更强监管措施
美国总统特朗普在周一的社交媒体帖文中将对人工智能安全的担忧称为"骗局"，并将其与"全球变暖骗局"进行类比。特朗普表示，唯一需要的AI"护栏"是"强大而聪慧"的总统，从而拒绝了加强AI监管的呼声。
顶级AI研究人员警告人工智能可能导致人类灭绝
多位人工智能领域的杰出研究人员近期提出了关于AI技术可能带来生存风险的严重警告。Anthropic公司员工Jacob Coxon在社交媒体上表示，"从事AI开发的人们真诚地相信它可能在这十年末杀死我们所有人"，并因公司在超级智能竞赛中的做法不负责任而选择离职。同公司的Evan Hubinger则声称，他个人认为AI在…