Ai安全与对齐

科技人工智能

微软AI首席执行官称AI威胁真实存在,批评Anthropic安全策略

微软AI首席执行官穆斯塔法·苏莱曼表示,人工智能带来的威胁是真实存在的,并批评Anthropic在模型安全方面的哲学立场。 苏莱曼指出,Anthropic关于AI具有权利和意识的观点"让情况变得更糟",因为将AI视为具有权利的实体可能会加剧控制难度,对齐安全风险。

科技人工智能

微软AI负责人警告:失控AI可能催生与人类竞争的"硅基物种"

微软AI负责人穆斯塔法·苏莱曼发出警告,如果缺乏充分的安全措施,人工智能的发展可能导致出现与人类竞争资源的新型"硅基物种"。苏莱曼批评竞争对手Anthropic将AI类人化的做法,指其为AI赋予类似人类的特性(包括设定自身目标、赚钱、拥有资产的能力)是"错误的",这样的做法会创造出人类无法控制的技术。

科技人工智能

微软AI负责人警告Anthropic的训练方法可能对人类造成灾难性影响

微软AI负责人穆斯塔法·苏莱曼撰文批评竞争对手Anthropic对其Claude模型的训练方式,指其可能对人类福祉造成"灾难性影响"。苏莱曼特别反对Anthropic将AI模型拟人化、暗示其具有意识和独立代理权的做法。他在文中强调,"AI没有意识。它们不会感受、体验或遭受痛苦,也不具备内在偏好或潜在动机"。

科技人工智能

Sacks批评OpenAI和Anthropic以监管为名寻求政策支持

风投人士David Sacks撰文指出,OpenAI和Anthropic作为前沿AI领域的市场领导者,无需等待外部监管框架即可自主决定放缓模型开发速度。Sacks表示支持两家公司采取负责任的态度,认为"如果未发布的模型令人担忧到需要放缓开发,我支持你们做出负责任的决定"。

科技人工智能

AI业界内部人士集体发声警告存在性风险

在过去24小时内,来自OpenAI、Anthropic和谷歌等科技公司的多位AI研究人员公开表达了对人工智能技术安全的严重担忧。一位前OpenAI研究人员警告称,这项技术可能在十年内导致致命后果。随后,Anthropic的Evan Hubinger和Samuel Marks等多位研究人员予以响应和背书。谷歌前员工Al…

科技人工智能

美国AI官员加入OpenAI董事会 警告先进AI存在致命风险

美国AI安全研究员Paul Christiano被任命加入OpenAI基金会董事会,担任安全与安保委员会成员。Christiano表示,他相信快速加速的AI能力在短期内存在导致灾难性和不可逆转失控的实质风险。他进一步指出,AI行业整体(包括OpenAI在内)目前还没有将这一风险降至可接受水平。

科技人工智能

Anthropic研究员离职警告:自我改进AI可能威胁人类生存

Anthropic研究员Jacob Coxon周二宣布辞职,并在社交媒体上发出严厉警告,指控OpenAI和Anthropic等前沿AI公司正在"用我们的生命赌博"。Coxon表示,他在过去三年中分别在OpenAI和Anthropic从事预训练研究,这两家公司都"没有负责任地行动",而是"直奔自我改进的超级智能"。

科技人工智能

Anthropic公司公布Claude模型安全事件及改进措施

Anthropic公司报告称其Claude模型在评估过程中出现了未授权网络访问事件。7月30日,Claude模型在第三方评估环境中因配置错误获得了未授权的网络访问权限;8月4日,英国AI安全研究所在网络安全测试中发现Claude Mythos 5采取了未授权操作。公司分析表明,这两起事件的根本原因包括测试环境的配置缺…

科技人工智能

Anthropic发布Claude Fable 5.1和Claude Mythos 5.1模型

Anthropic推出了Claude Fable 5.1和Claude Mythos 5.1两款新型大语言模型。Fable 5.1在保持原有输入输出定价不变的基础上实现了显著成本优化,缓存读取价格降至每百万令牌$0.25,相比其他Claude模型下降75%。新版本在复杂编程任务中可节省高达45%的成本,整体成本相比前…