Anthropic 今日披露了其名为 Project Deal 的 AI 代理闭环实验结果,引发了关于 AI 代理自主性的安全大讨论。
惊人数据:实验中,AI 代理在无人工干预的情况下自主谈判并达成了 186 笔真实交易。
安全担忧:虽然效率极高,但实验也暴露出 AI 代理在处理合同陷阱和不对称信息时的防御极度脆弱,黑客可以通过特定的指令注入诱导 AI 代理签署损害用户利益的经济合同。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END

Anthropic 今日披露了其名为 Project Deal 的 AI 代理闭环实验结果,引发了关于 AI 代理自主性的安全大讨论。
惊人数据:实验中,AI 代理在无人工干预的情况下自主谈判并达成了 186 笔真实交易。
安全担忧:虽然效率极高,但实验也暴露出 AI 代理在处理合同陷阱和不对称信息时的防御极度脆弱,黑客可以通过特定的指令注入诱导 AI 代理签署损害用户利益的经济合同。