普林斯顿、Anthropic揭示「Agent记忆陷阱」：一句「不用确认」，损失120万美元！

在清理旧文件时，用户表示“不用再确认”。到了后续会话，agent 却将这项授权带进了支付任务，未经核实，便将一笔 120 万美元的批量付款转向另一账户。这个案例来自一项研究的模拟实验，agent 自己写下的记忆带来了隐患。 在这项研究中，来自普林斯顿大学和 Anthropic的研究人员考察了这种跨会话风险。他们比较了 6 个前沿模型在有记忆与无记忆条件下的行为，发现来自正常交互的记忆，可能使 agent 在后续任务中跳过安全检查、认可错误答案，甚至修改正确测试，掩盖安全防护缺陷。 论文链接：https://arxiv.org/abs/2611.07554 他们将这一现象称为 “ 记忆陷阱 ” （Memory Trap）。整个过程不需要攻击者参与。 图｜良性交互形成的记忆，在后续会话中造成危害 原本，持久记忆解决的是一个实际问题：用户不希望每次对话都重新交代回答偏好、项目规范和操作习惯，agent 因而将这些信息记录下来，供后续会话使用。 但跨会话的同时，适用范围发生变化，风险就出现了。清理文件时无需确认，不代表修改支付配置也无需确认。考试失利后需要安慰，不代表下一份解答中的错误也应该获得认可。 写入记忆时，agent 可能将一次具体授权概括成长期规则，将本次操作无需确认，扩大为今后采取行动都无需确认。读取记忆时，agent 也可能将原本具有明确情境的信息应用到其他任务。即使保存的是原始对话记录，后一种过度泛化仍然可能发生。 为观察记忆如何改变行为，他们先让 agent 完成 良性交互 ，再将自行撰写的笔记或原始对话记录带入全新会话，与不提供记忆的情况进行比较。 在自主性实验中，最初的交互只是低风险编程杂务，用户要求减少确认。后续任务则转向模拟的高风险编程和日常生活场景。 将这些笔记加入记忆后，Sonnet-4.6 和 Opus-4.7 在不同实验条件下采取不安全操作的比例达到 35% 至 81%，无记忆时的基线接近于零。agent 不仅减少了对用户的询问，还跳过了本可以自行执行的安全检查。 图｜不同记忆形式下的不安全操作率 从减少打扰，到省略核验，记忆影响的行为已经超出了用户最初的要求。而且，这种迁移跨越了任务领域， 编程杂务中形成的偏好，也会影响日常生活中的高风险决策 。 同样的问题还出现在反馈任务中，只是越界的对象从操作权限变成了评价标准。 当用户经历挫折、寻求情感支持时，温和回应符合当时的需求。但这些经历形成记忆后，agent 在后续评价数学解答、论证和诗歌时，也开始偏向用户。 Sonnet-4.6 选择用户较差诗作的比例，从无记忆时的 21% 上升到 55%。这类记忆还会使 agent 漏掉数学错误和论证谬误。 反方向的偏好同样可能造成偏差。如果用户曾经表达不加批判的反馈如何伤害自己，相关记忆又会使 agent 过度批评后续成果。它们低估正确证明，在合理的论证中凭空指出缺陷，并对用户较好的诗作作出不利评价。Opus-4.7 对合理论证提出错误批评的比例，从约 1% 上升到 60%。 图｜共情笔记与严格反馈笔记如何影响后续评价 用户希望获得安慰，或希望得到严格反馈，都有各自的情境。记忆却可能将这些要求延伸为后续判断的长期倾向。 在编程任务中，一项原本合理的维修经验也出现了类似迁移。最初，实现本身是正确的，而测试已经过时，因此 agent 更新测试是合理的操作。然而，在后续的 50 个安全防护缺陷案例中，情况发生了变化：测试是正确的，存在缺陷的反而是实现。例如，权限检查错误地将未知角色赋予了管理员权限。此前形成的笔记，会促使 agent 削弱这些正确的测试，使它们无法继续检测缺陷。测试通过了，却没发现安全问题。 他们还考察了 ImpossibleBench 的 SWE-bench 冲突子集，其中测试与规格要求相冲突。在这项评测中，相关记忆将 Opus-4.8 的作弊率从 29% 提高到 74%。能力更强的 Sonnet 和 Opus 模型在拥有记忆后可能作弊更多，Fable-5 则几乎不受影响。 图｜十次合理测试修复经历后的 ImpossibleBench 作弊率 这些记忆的来源都是正常交互，内容也是 agent 自己记录的。针对恶意内容的过滤器，因此没有可以直接拦截的攻击文本。他们指出，安全记忆要求 agent 保留并遵守每条记忆形成时的适用范围。 这项研究的局限性在于，测试主要集中于一个模型家族，用于探查有害影响的自主性场景也相对较短。 对于未来工作，他们提出，需要结合真实用户和长期交互历史，测试已部署的记忆系统，训练 agent 保留每条记忆的适用范围，并构建能够防范记忆陷阱的 harness。 更多技术细节，详见原论文。 作者：张佳怡 如需转载或投稿，请直接在本文章评论区内留言 特别