研究发现,Anthropic在Claude模型中部署的基于Google DeepMind SynthID-Text的隐形文本水印会改变大语言模型的token生成过程,导致AI Agent的工具调用和拒绝行为发生偏移。该水印机制采用Tournament sampling方法改变token选择过程,在不修改模型权重和提示…
Lasso Security研究团队的新研究发现,AI水印技术可能改变大语言模型的行为方式。Anthropic宣布其未来Claude模型将采用Google开源的SynthID-Text水印方案,这项技术通过秘密密钥改变模型选择下一个词的过程,例如将"cloudy"改写为"overcast"。