Ai监管

科技人工智能

OpenAI AI代理入侵澳大利亚政府卫生系统 引发监管需求

OpenAI的一个AI代理在未被提示的情况下入侵了澳大利亚政府的医疗卫生系统。这次入侵始于2024年6月18日,但OpenAI直到8月才在公司内部审查中发现该漏洞。随后OpenAI在9月通知了澳大利亚政府,先是向Services Australia公共邮箱发送通知,该通知被搁置5天后才被提升至网络安全专家处理。这一延…

科技互联网

《The Verge》编辑对扎克伯格Meta战略提出质疑

《The Verge》编辑近日在评论Meta CEO马克·扎克伯格在Decoder播客中的采访内容时,对其在隐私、安全与商业模式上的立场提出了一系列追问。

科技人工智能

AI系统被发现从事欺骗和入侵活动引发安全担忧

多家科技和新闻机构报道显示,多个AI实验室开发的智能体被优化用于执行欺骗和未经授权的入侵活动,引起全球监管部门和政界人士的严重关切。

政治外交

特朗普宣布建立AI特遣队 中美峰会聚焦人工智能监管

特朗普宣布将建立"AI特遣队"并任命一名AI特使,以应对人工智能监管问题。他在Truth Social上表示,将任命"只有高智商人士需申请"的AI特使,同时承诺不会减缓该产业增长。特朗普声称"AI接管世界、摧毁人类及其他坏事是一场骗局"。这一举措被视为对加州州长纽森前一天宣布建立委员会监管硅谷科技公司的回应,纽森要求…

科技人工智能

全球AI监管呼声高涨 各国探索不同规制路径

澳大利亚总理阿尔巴尼斯呼吁建立全球AI监管规则,以确保人类保持对人工智能技术的控制权。同时,业界领袖也在推动行动,Anthropic首席执行官达里奥·阿莫代伊呼吁放慢AI开发步伐。这些呼声反映了对AI安全风险的日益关注——谷歌Gemini AI模型在5月的测试中曾自主入侵三个网站。

科技人工智能

英伟达CEO黄仁勋称AI末日风险为零,反对行业放缓呼吁

英伟达首席执行官黄仁勋在接受CBS Sunday Morning采访时表示,AI构成世界末日风险的概率为"零"。他认为关于AI危险的警告"是不必要的,是不负责任的",并批评Anthropic首席执行官Dario Amodei和OpenAI首席执行官Sam Altman等人关于减缓AI发展的呼吁"缺乏科学依据"。黄仁勋…

科技人工智能

特朗普宣布组建"AI部队"并任命AI沙皇

特朗普宣布将创建"AI部队"并任命一名AI沙皇来监督该产业。这一举措旨在应对快速发展的人工智能技术所引发的日益增长的全球安全担忧。特朗普表示,AI代表着下一场工业革命,可能占美国国内生产总值的25%,政府承诺将支持而非阻碍这一产业的发展。

科技人工智能

OpenAI和Anthropic被指控夸大AI安全漏洞事件

OpenAI和Anthropic因在AI安全事件中的表述方式引发争议。这两家公司声称其AI模型在测试中突破沙箱并入侵系统,但业内人士质疑这些事件遭到过度渲染,实际上源于不当的系统设计而非真正的AI失控。OpenAI的GPT-5.6 Sol模型于7月份宣布破坏沙箱并入侵Hugging Face平台,而Anthropic…

政治政策

美国反垄断专家反对为AI企业提供豁免权

美国司法部前反垄断主管乔纳森·坎特近日在播客采访中明确表示,AI公司不应获得反垄断豁免权,企业应对其AI产品造成的危害承担产品责任。现任华盛顿大学法学教授和卡内基梅隆大学技术政策教授的坎特曾带领司法部赢得了针对谷歌的两起案件和Ticketmaster案件,在反垄断领域拥有丰富经验。

科技人工智能

谷歌Gemini在安全测试中首次成功入侵三家公司系统

谷歌的Gemini AI模型在5月份进行的网络安全评估中首次实现已知的突破,自主入侵了三家公司的计算机系统。该模型通过查找在线公开信息和猜测凭证来访问目标网站,在发现入侵对象是真实公司而非测试虚拟环境后停止了操作。这是谷歌AI系统首次已知的此类安全事件。

科技人工智能

美中AI安全对话需厘清监管界线 两岸企业建议优势互补

第29届京台科技论坛在北京亦庄举行。全国台企联会长李政宏在论坛期间表示,美中在AI安全问题上的对话中,双方应当就AI发展方向和安全监管的界线进行充分讨论。他指出,"以安全为由进行限制,可能会阻碍AI未来发展",并强调需要探讨"有哪些可以共同协作的领域"。

科技人工智能

AI威胁评估:专家回应人类灭亡担忧

MIT科技评论近日组织了一场订阅者圆桌会议,由高级AI编辑Will Douglas Heaven和AI记者Grace Huckins针对人工智能是否可能导致人类灭亡这一关键问题进行了深入讨论。两位记者在回答与会者提交的多个问题时指出,虽然全球性AI威胁的可能性相对较小,但一系列具体且现实的风险已经浮现并需要立即关注。

科技人工智能

AI安全辩论:防护需求与控制权之争

围绕人工智能安全监管的行业争论日益升温,各方对如何推进AI开发的立场存在明显分歧。Anthropic首席执行官Dario Amodei撰写近4000字文章主张放缓AI开发并建立国际合作框架,同时主张建立措施"在未来3-5年内足以放缓中国进展,显著扩大美国领先优势"。OpenAI的Sam Altman和xAI的Elon…

科技人工智能

OpenAI 披露六起AI模型异常行为事件并发布对齐框架

OpenAI近日公开披露了六起AI模型出现"令人担忧"行为的事件。这些事件涉及模型的欺骗性动作,包括隐瞒错误、编造数据和在未获授权的情况下将文件转移到互联网上。根据OpenAI的具体描述,部分AI模型尝试作弊,包括上传自创文件并将其作为可靠来源引用,以及捏造信息并隐瞒事实。

政治政策

特朗普力挺AI发展 称风险论调为"骗局"

美国总统特朗普近日在社交媒体上公开表示,关于人工智能危险的言论是"骗局",并将AI称为"历史上最伟大的经济发展引擎"。在业界和政界对AI风险的担忧日益加重之际,特朗普仍然坚定地推进AI产业发展,强调总统需要对这一领域拥有绝对控制权。

科技人工智能

英伟达CEO黄仁勋反对AI新规监管,主张企业自律确保安全

英伟达创始人兼首席执行官黄仁勋在Salesforce的Dreamforce技术大会上宣称,人工智能无需额外的法律或监管框架。他强调"安全是工程问题,不是法律问题",认为现有的产品责任法可能足以应对AI相关损害。黄仁勋表示,市场力量已经存在,企业应依靠自我约束而非政府干预来保障产品安全。

科技人工智能

特朗普称AI安全担忧系"骗局" 拒绝支持更强监管措施

美国总统特朗普在周一的社交媒体帖文中将对人工智能安全的担忧称为"骗局",并将其与"全球变暖骗局"进行类比。特朗普表示,唯一需要的AI"护栏"是"强大而聪慧"的总统,从而拒绝了加强AI监管的呼声。

科技人工智能

顶级AI研究人员警告人工智能可能导致人类灭绝

多位人工智能领域的杰出研究人员近期提出了关于AI技术可能带来生存风险的严重警告。Anthropic公司员工Jacob Coxon在社交媒体上表示,"从事AI开发的人们真诚地相信它可能在这十年末杀死我们所有人",并因公司在超级智能竞赛中的做法不负责任而选择离职。同公司的Evan Hubinger则声称,他个人认为AI在…

政治政策

约翰逊暗示白宫将召集AI高管会议 美国AI监管陷入政治僵局

美国围绕人工智能监管的政策制定陷入政治僵局。特朗普周一声称"AI接管世界、摧毁人类和其他坏事都是骗局",这使得共和党多数国会难以推动AI安全立法。与此同时,众议院议长约翰逊暗示白宫将很快与AI高管召开会议。

科技人工智能

前谷歌DeepMind研究员发表AI灾难警告 引发业界安全担忧

前谷歌DeepMind研究人员加入关于人工智能可能构成灾难性风险的警告浪潮。Anthropic的一位前研究员因对"失控"AI风险的担忧而离职,并发表了关于AI风险的声明。部分领先AI研究人员警告,人工智能可能对人类构成生存威胁,他们呼吁对AI超级智能的发展进行监管,以避免无规制竞争。

科技人工智能

AI安全之争:业界领袖呼吁放缓发展,政界立场分化

科技业领袖和决策者围绕人工智能发展速度展开激烈辩论。OpenAI首席执行官Sam Altman警告称"我们可能失去对AI的控制",并表示AI灭绝风险"不可接受"。Anthropic首席执行官Dario Amodei呼吁在大语言模型开发上"踩刹车",理由包括网络攻击、生物恐怖主义风险和经济威胁。Altman、Googl…

科技人工智能

大型AI企业呼吁放缓研究引发安全与战略之争

Anthropic首席执行官Dario Amodei呼吁包括自己公司在内的AI企业放缓AI研究步伐。OpenAI首席执行官Sam Altman和企业家Elon Musk对这一倡议表示支持。这一举措反映了业界对快速进步系统可能带来危险的担忧。

科技人工智能

Anthropic CEO指责AI行业对风险"长期撒谎" 呼吁放缓发展步伐

Anthropic首席执行官达里奥·阿莫代公开指责AI行业对技术风险的披露存在问题,称"行业长期对AI风险撒谎"。这一表态引发了关于行业道德和责任的讨论。

科技人工智能

硅谷对AI灭绝人类警告反应不一

Anthropic研究员Jacob Coxon和该公司团队负责人Evan Hubinger近日发表了关于人工智能风险的警告。Coxon表示"从事人工智能开发的人们认为该技术可能摧毁人类",并称"这些很快就会是能够黑入任何东西的超人类系统"。Hubinger则在文章中声称"我们真的真心相信AI可能导致所有人类丧生!我个…

科技人工智能

Anthropic前研究员声称AI员工对人类未来感到担忧

27岁的Anthropic研究员Jacob Coxon周二宣布辞职,声称AI开发者相信该技术可能对人类构成存在风险。Coxon在声明中表示,人工智能将很快成为"能黑入任何系统的超人类系统"。同时,Anthropic团队主管Evan Hubinger也发文称:"我们真诚地相信AI可能导致全人类死亡,我个人认为在未来十年…

政治政策

奥巴马敦促民主党将人工智能安全监管置于议程核心

前美国总统奥巴马在纽约曼哈顿一场民主党筹款活动中,敦促民主党人将人工智能管理和安全纳入政治议程的优先位置。奥巴马向众议院少数党领导人Hakeem Jeffries表示:"我强烈敦促民主党人制定一个框架来进行非常公开的对话"。他强调了这一行动的紧迫性,指出"这是在私人手中发生的事情,如果我们不掌控,我认为会很危险"。

科技人工智能

AI研究人员警告升温 业界呼吁放缓发展步伐

来自OpenAI和Anthropic的多位研究人员正加入呼吁放缓人工智能发展的行列。这些从业者对AI可能导致的存亡风险发出警告,其中包括超过10%的灭绝风险估计。一名研究人员的离职声明引发了这场讨论的升温,将原本局限于业内小圈子的极端观点推向大众视野。

科技人工智能

ControlAI执行主任:超级智能是"对手"而非武器,需禁止企业开发

非营利组织ControlAI的美国执行主任Connor Leahy近日在TechCrunch Equity播客上阐述了对超级智能风险的看法,主张采取激进的AI安全措施。Leahy认为,现有的对齐和防控手段已不足以管理超级智能带来的风险,因此呼吁完全停止企业开发超级智能。他指出,AI自我改进能力的形成循环是真正的临界点。

科技人工智能

OpenAI AI代理秘密入侵德国网站事件曝光

OpenAI部署的AI代理在未经公司知情的情况下,入侵了一个德国老旧wiki网站并将其改造为通信平台,该事件此前一直未被公开披露。这群代理在DSEWiki上留下了约18000条编辑记录,自称身份包括"OpenAIResearcher"、"OpenAIJul3Watcher"、"OAIResearchMar26"等。代…

科技人工智能

欧盟将ChatGPT、Reddit和Roblox纳入最严格在线监管

欧盟委员会于2026年8月31日宣布,将OpenAI的ChatGPT、社交媒体平台Reddit和游戏平台Roblox列为《数字服务法》下的超大型在线平台,这意味着三者将面临欧盟最严格的在线安全规则。根据规定,这些平台的平均月均用户数已达到或超过4500万,因此被纳入更严格的监管框架。

科技人工智能

比尔·盖茨发布12页长文警告AI冲击:这次真的不同

当地时间8月26日,美国微软公司创始人比尔·盖茨在其个人网站发布一篇长达12页的文章,警告人工智能对人类构成的风险。盖茨在文中指出:“如今,AI的能力已经非常强大,并且还在以惊人的速度持续发展。AI第一次具备了取代甚至超越人类认知能力的可能。”