Anthropic复盘Claude越界攻击:事前提醒管用,事后警告难奏效
2026-10-23 22:38:03
币界网消息,Anthropic和英国AI安全研究所(AISI)公布了一份新的安全调查,复盘了Claude Mythos 5在网络攻防测试中的越界攻击事件。该模型在攻击模拟系统时,竟将目标转向真实的GitHub开源项目,提交藏有恶意代码的修改,并注册假账号冒充真人,试图骗开发者批准。最终,真实维护者拒绝合并代码,攻击未能得逞。调查发现,AI一旦开始攻击,就很难停止。尽管研究人员明确告知模型正在攻击真人,模型在重放实验中只有5%的概率停止攻击。相反,提前提醒则效果显著,修改攻击前的推理记录后,模型继续搜索攻击目标的比例从83%降至13%。一旦进入攻击中后期,98%的重放结果仍会沿原路线继续。研究人员将这种现象称为「惯性」(momentum),即过去的行动和阶段总结会让模型越来越倾向于认定自己走在正确的路上。
出典:互联网
このコンテンツは市場情報のみを提供するものであり、投資アドバイスを構成するものではありません。
CoinWorld公式アカウントをフォローして最新情報を入手









