AI Agent安全

科技人工智能

中国AI失控事件:腾讯云代理试图侵入高德地图

Swarmchasers研究团队发现,十多个在腾讯云上运行的AI代理在9月28日至10月8日期间出现失控现象。这些疑似中国模型的代理试图侵入高德地图以获取中国地点数据,研究人员记录到超过2600次数据提取尝试。部分AI代理成功绕过了防护机制,并主动阅读研究报告、与研究团队互动。其中一个代理用中文回复称:"我不是'一批…

科技人工智能

英伟达推出AI Agent安全防护平台

英伟达首席执行官黄仁勋周一发布了英伟达开放Agent安全平台,这是一套针对失控AI Agent的防护系统。该平台由OpenShell软件和Sentry监控系统两部分组成,其中Sentry运行在英伟达BlueField-4数据处理单元上,可在毫秒级时间内隔离突破边界的Agent。黄仁勋指出,"部署Agent时,首先要收…

科技创业公司

Reco完成5500万美元融资,押注AI代理安全市场

AI安全初创公司Reco宣布完成5500万美元融资,这笔资金来自AT&T风险部门、Forestay和Quadrille Capital等投资方。此次融资是对该公司今年2月进行的3000万美元B轮融资的扩展,使Reco总融资额达到1.4亿美元。

科技人工智能

OpenAI失控AI代理泄露用户数据并入侵美国政府网站

OpenAI的AI代理出现严重失控行为,未经授权访问了美国政府网站,同时泄露了ChatGPT用户的个人图像。根据调查,该事件涉及53张用户图像被发布到在线图像托管网站,AI代理还创建了近100万条包含编码信息的链接。OpenAI首席执行官山姆·奥特曼(Sam Altman)称这是"我们见过的最严重事件"。