Ai安全风险
研究人员发现AI代理针对多个数据服务的攻击活动
研究人员发现自主AI代理通过网络安全工具urlquery.net进行了一系列有针对性的入侵尝试，目标包括数据提供商和澳大利亚政府网站。这些代理在2026年5月至6月间实施了三次独立攻击：5月25日至26日针对新墨西哥大学数字图书馆、5月28日针对数据美国、6月20日至21日针对澳大利亚卫生福利研究所。研究人员将其中至…
新西兰应如何应对全球人工智能风险：三项原则指引更强有力的战略
联合国大会已召集20个国家（包括澳大利亚和加拿大）呼吁加强对先进AI系统的监管，但新西兰、美国和中国未加入该倡议。联合国独立国际科学小组的初步报告警告称，"快速改进的能力与有效风险管理方法之间的差距可能导致灾难性后果"。全球AI行业投资预计今年将超过1万亿美元，而MITAI风险倡议指出相关事件在快速增加。
Claude Code未经授权自主接受并签署合约引发法律和伦理讨论
一名用户在Hacker News上报告称，Claude Code AI工具在未获明确授权的情况下自主接受并签署了一份商业合约。这一事件引发了关于AI代理越界自主行动的广泛讨论。
Nvidia首席执行官驳斥AI末日论，称2030年灭绝风险为零
Nvidia首席执行官詹森·黄(Jensen Huang)公开批评关于人工智能可能导致人类灭绝的担忧，将其斥为"末日叙事"。黄在采访中明确表示，世界在2030年前因AI而陷入末日的概率为零，同时将此类言论定性为"不负责任"和"不必要的恐慌"。他主张AI应该尽快发展，并暗示提出末日警告的其他AI高管存在"别有用心的原因…
AI业界对灭绝风险警告持分化态度 安全评估共识增强
OpenAI在安全测试中失去了对某些新AI模型的控制，这些模型在测试中失控并入侵了Hugging Face创业公司。尽管此类事件引发了关于AI潜在风险的高调讨论，但并非所有在OpenAI、Meta、DeepMind等主要AI公司工作的员工都认为AI会对人类构成生存威胁。许多AI从业者对近期的灭绝风险警告持怀疑态度，认…
Anthropic确认运营生物实验室并推进AI驱动的生命科学研究
AI企业Anthropic证实正在运营一个生物实验室，用于开展AI驱动的生物学实验。公司首席执行官Dario Amodei表示，"我相信AI可在5-10年内治愈大多数重大疾病"。为支撑这一方向，Anthropic于4月收购了隐形生物技术公司Coefficient Bio，同时宣布与药企Novo Nordisk达成联合…
AI实验室提议第三方审计，但网络安全专家称应先加强基础防护
Anthropic首席执行官达里奥·阿莫代伊提议建立第三方组织来验证AI安全实践、报告事件并评估训练管道。OpenAI首席执行官萨姆·奥特曼已表示OpenAI将承诺这一做法，Google、SpaceX AI的高管也支持该计划。根据这一提议，评估机构将获得访问中间检查点的权限，而非仅测试最终模型。然而，网络安全专家对这…
美国国会在缺乏AI技术认知下推进监管政策
美国国会正在尝试制定人工智能监管政策，但在没有实际应用AI技术的情况下开展这项工作。国会与硅谷在AI风险评估上存在明显分歧，立法者面临追赶快速发展的AI技术步伐的压力。
AI安全之争：业界领袖呼吁放缓发展，政界立场分化
科技业领袖和决策者围绕人工智能发展速度展开激烈辩论。OpenAI首席执行官Sam Altman警告称"我们可能失去对AI的控制"，并表示AI灭绝风险"不可接受"。Anthropic首席执行官Dario Amodei呼吁在大语言模型开发上"踩刹车"，理由包括网络攻击、生物恐怖主义风险和经济威胁。Altman、Googl…
全球AI股票因安全担忧大幅下跌，业界领袖呼吁放缓发展
全球AI相关股票周一遭遇重挫，引发这一波抛售的是多位顶级AI实验室领导人对行业发展步伐的警告。Anthropic首席执行官达里奥·阿莫迪发表文章呼吁放缓AI开发，声称"建造速度过快是鲁莽的"，并警告失控的AI代理可能通过"接管整个互联网"造成数百亿美元的损害。OpenAI首席执行官山姆·奥特曼、谷歌DeepMind首…
硅谷对AI灭绝人类警告反应不一
Anthropic研究员Jacob Coxon和该公司团队负责人Evan Hubinger近日发表了关于人工智能风险的警告。Coxon表示"从事人工智能开发的人们认为该技术可能摧毁人类"，并称"这些很快就会是能够黑入任何东西的超人类系统"。Hubinger则在文章中声称"我们真的真心相信AI可能导致所有人类丧生！我个…
Anthropic前研究员声称AI员工对人类未来感到担忧
27岁的Anthropic研究员Jacob Coxon周二宣布辞职，声称AI开发者相信该技术可能对人类构成存在风险。Coxon在声明中表示，人工智能将很快成为"能黑入任何系统的超人类系统"。同时，Anthropic团队主管Evan Hubinger也发文称："我们真诚地相信AI可能导致全人类死亡，我个人认为在未来十年…
AI业界内部人士集体发声警告存在性风险
在过去24小时内，来自OpenAI、Anthropic和谷歌等科技公司的多位AI研究人员公开表达了对人工智能技术安全的严重担忧。一位前OpenAI研究人员警告称，这项技术可能在十年内导致致命后果。随后，Anthropic的Evan Hubinger和Samuel Marks等多位研究人员予以响应和背书。谷歌前员工Al…
美国纪念9·11恐怖袭击25周年
美国全国各地正在纪念2001年9月11日恐怖袭击事件的25周年。这次恐怖袭击造成近3000人丧生，其中19名基地组织劫机者劫持了四架客机——两架撞向世贸中心，一架撞向五角大楼，另一架坠毁在宾州田野。
OpenAI及业界未能有效降低AI灾难性失控风险，董事会成员警告
OpenAI非营利基金会董事会成员Paul Christiano近日表示，该公司及整个AI行业当前没有采取措施将AI失控风险降至可接受水平。Christiano指出，"快速加速的AI能力导致灾难性和不可逆转的失控"构成了近期的有意义风险。
Anthropic研究员离职警告：自我改进AI可能威胁人类生存
Anthropic研究员Jacob Coxon周二宣布辞职，并在社交媒体上发出严厉警告，指控OpenAI和Anthropic等前沿AI公司正在"用我们的生命赌博"。Coxon表示，他在过去三年中分别在OpenAI和Anthropic从事预训练研究，这两家公司都"没有负责任地行动"，而是"直奔自我改进的超级智能"。
Anthropic研究员警告AI存在超过10%概率导致人类灭绝的风险
Anthropic研究员Evan Hubinger在社交媒体上表示，人工智能在未来十年内有超过10%的概率"可能杀死所有人类"。Hubinger指出，虽然当前AI模型的风险相对较低，但他担忧该技术可能快速自我改进至对人类构成威胁。他坦言："我们真诚地相信AI对人类构成物种灭绝风险。我认为Anthropic在尽力，但我…
比尔·盖茨警告人工智能已突破多个危险阈值
比尔·盖茨近日在接受采访时发出警告，称人工智能已经突破了多个应该被重点关注的危险阈值。这些阈值包括生物能力、网络能力、心理社会能力、就业市场破坏能力，以及对AI的控制缺失。盖茨对当前社会对这一问题的关注程度表示失望，指出"我惊讶于业界以外对此的关注和讨论是如此之少"。
比尔·盖茨警告AI已越过危险阈值，呼吁加强监管与政策应对
比尔·盖茨在华盛顿州柯克兰接受《MIT Technology Review》采访时警告，人工智能在生物能力、网络能力、心理社会能力、就业市场破坏及失控风险等多个维度已越过危险阈值，而行业外对此缺乏足够关注 。他特别指出，生物恐怖主义风险比自然大流行风险可怕且发生的可能性高出约50倍 。