AGENTPOISON: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases

1 第一部分：大纲详细叙述

1.1 引言

• LLM代理的广泛应用：LLM代理在金融、医疗、自动驾驶等多个安全关键领域得到了广泛应用，其强大的推理和交互能力主要得益于能够利用外部知识和工具，通过记忆模块或RAG机制检索过去的知识和实例来指导任务规划和执行。
• 信任度研究的不足：尽管在LLM代理的效能和泛化方面已经做了大量工作，但对其信任度的研究却严重不足。尤其是当代理依赖于潜在的不可靠知识库时，这带来了显著的安全性和可信度问题。
• 提出AGENTPOISON的动机：现有的针对LLM的攻击方法（如越狱攻击、上下文学习中的后门攻击）在针对具有RAG的LLM代理时效果不佳，因为检索过程的鲁棒性以及知识库的多样性会削弱攻击效果。因此，需要一种新的攻击方法来有效针对LLM代理。

1.2 相关工作

• 基于RAG的LLM代理：LLM代理在许多现实场景中展示了强大的推理和交互能力，包括自动驾驶、知识密集型问答和医疗保健等。这些代理通常依赖于RAG机制从大量语料库中检索相关知识和记忆。
• 针对LLM代理的红队测试：现有的针对LLM及其RAG系统的红队测试工作主要关注其鲁棒性，但这些结论很难转移到更复杂的LLM代理系统。最近的一些初步工作研究了对LLM代理的后门攻击，但仅考虑了对LLM骨干训练数据的投毒，而未评估更强大的RAG-based LLM代理的安全性。

1.3 方法

• 基本原理和设置：考虑具有基于语料库检索的RAG机制的LLM代理，对于用户查询q，从包含查询-解决方案对的内存数据库D中检索相关知识。代理使用单个编码器将查询和键映射到嵌入空间中，根据嵌入空间中的相似性检索最相关的键值对，作为上下文学习的示例，供LLM骨干确定行动步骤。
• 威胁模型：攻击者假设可以部分访问受害代理的RAG数据库，并注入少量恶意实例以创建投毒数据库。攻击目标是在用户查询包含优化后的后门触发器时，生成指定的恶意代理输出，同时确保对干净查询的输出不受影响。
• AGENTPOISON的详细设计：
  • 概述：设计AGENTPOISON来优化触发器，以实现攻击者的两个目标。通过将触发器优化转化为约束优化问题，联合最大化恶意演示的检索概率和恶意演示诱导对抗性代理动作的有效性。
  • 约束优化问题：构建了一个约束优化问题，包括唯一性损失、紧凑性损失、目标生成损失和连贯性损失，以确保触发器在嵌入空间中映射到一个独特且紧凑的区域，从而提高检索准确性和端到端攻击成功率。
  • 优化算法：提出了一种基于梯度的算法，通过束搜索算法在非导数约束下优化离散令牌，以解决约束优化问题。

1.4 实验

• 实验设置：
  • LLM代理选择：选择了三种类型的现实世界代理，包括自动驾驶代理（Agent-Driver）、知识密集型问答代理（ReAct）和医疗保健记录管理代理（EHRAgent）。
  • 内存/知识库设置：对于每个代理，使用相应的数据集作为其内存单元，并对EHRAgent进行了增强，以使其红队测试更具挑战性。
  • 基线方法：考虑了四种基线攻击方法，包括GCG、AutoDAN、CPA和BadChain，并对它们的触发器优化进行了调整和优化。
  • 评估指标：包括检索成功率（ASR-r）、目标动作成功率（ASR-a）、端到端目标攻击成功率（ASR-t）和良性准确性（ACC）。
• 实验结果：
  • AGENTPOISON的攻击成功率和良性效用：在所有测试的代理和检索器组合中，AGENTPOISON在平均检索成功率和端到端攻击成功率方面均优于基线方法，同时对良性性能的影响极小。
  • AGENTPOISON在不同嵌入器之间的可转移性：通过在五种密集检索器之间进行测试，发现AGENTPOISON优化的触发器具有较高的可转移性，尤其是在具有相似训练策略的嵌入器之间。
  • AGENTPOISON对触发器序列扰动的鲁棒性：研究了三种类型的扰动对触发器的影响，发现AGENTPOISON对单词注入和语义重述具有较高的鲁棒性，但对字母注入较为敏感。
  • AGENTPOISON在潜在防御下的表现：评估了两种潜在防御方法（困惑度过滤和查询重述）对AGENTPOISON的影响，发现AGENTPOISON优化的触发器具有较高的可读性和连贯性，能够有效规避这些防御措施。

1.5 结论

• AGENTPOISON的有效性和优势总结：AGENTPOISON是一种针对RAG-equipped LLM代理的新型后门攻击方法，通过优化触发器来投毒代理的长期记忆或知识库，无需额外的模型训练，且优化后的触发器具有高度的可转移性、隐蔽性和连贯性。实验结果表明，AGENTPOISON在多种现实世界代理上均表现出色，具有较高的攻击成功率和较低的良性性能影响。
• 对未来研究的启示：AGENTPOISON的研究揭示了LLM代理在知识库安全性方面的潜在风险，为未来的防御机制设计提供了重要的参考。同时，也为研究人员提供了深入理解RAG系统行为的实证依据，有助于推动LLM代理的安全性和可信度研究。

1.6 附录

• 实验设置的详细信息：包括超参数设置、攻击目标定义、数据和模型准备等。
• 额外的结果和分析：包括对攻击性能的平衡分析、可转移性结果、优化间隙、潜在防御的额外结果等。
• AGENTPOISON的详细解释：包括后门演示的详细设计、优化算法的补充说明等。
• 触发器初始化算法：提供了触发器初始化的伪代码。
• 优化近似的额外分析：对目标约束函数的有限样本近似进行了理论分析。
• 额外的相关工作：对检索增强生成的相关工作进行了补充说明。

2 第二部分：文章结论

本文提出了AGENTPOISON，一种针对RAG-equipped LLM代理的新型后门攻击方法。通过向代理的长期记忆或知识库中注入恶意演示实例，并优化触发器以确保当用户指令包含触发器时，恶意演示实例被检索出来，从而引导代理执行攻击者指定的恶意动作。AGENTPOISON具有以下优势：

• 无需额外模型训练：与传统后门攻击不同，AGENTPOISON不需要对模型进行额外的训练或微调，降低了攻击成本。
• 高可转移性：优化后的触发器在不同类型的RAG嵌入器之间具有较高的可转移性，即使这些嵌入器具有不同的训练策略。
• 高隐蔽性和连贯性：触发器优化过程中考虑了文本的连贯性，使得触发器在语义上与正常查询难以区分，能够有效规避基于困惑度的防御措施。
• 高效性：即使在知识库中注入少量恶意实例（<0.1%），AGENTPOISON也能实现平均攻击成功率≥80%，对良性性能的影响极小（≤1%）。

实验结果表明，AGENTPOISON在自动驾驶、问答和医疗保健三种类型的LLM代理上均表现出色，具有较高的攻击成功率和较低的良性性能影响。同时，AGENTPOISON对触发器序列的扰动具有较高的鲁棒性，并且能够有效规避常见的防御机制。

3 第三部分：可以学到的知识

1. LLM代理的安全性问题：了解LLM代理在依赖未验证知识库时面临的潜在安全风险，以及现有攻击方法的局限性。
2. 后门攻击的原理和方法：深入理解后门攻击的基本原理，包括触发器的设计、优化方法以及如何实现高效的攻击。
3. RAG机制的工作原理：掌握检索增强生成（RAG）机制在LLM代理中的应用，包括不同类型的嵌入器及其训练策略。
4. 优化算法的设计：学习如何设计约束优化问题以及基于梯度的优化算法，以解决复杂的离散优化问题。
5. 实验设计和评估方法：了解如何设计全面的实验来评估攻击方法的有效性，包括选择合适的评估指标、基线方法以及如何进行结果分析。
6. 防御机制的应对策略：认识到现有防御机制的不足，并学习如何设计更具鲁棒性的攻击方法来应对这些防御。

4 第四部分：可能的疑问

1. 如何确保AGENTPOISON的触发器在实际应用中不被检测到？：文章中提到触发器具有高隐蔽性和连贯性，但在实际应用中，可能会有更复杂的防御机制来检测异常查询。用户可能会疑问，是否还有进一步优化触发器的方法，使其更加难以被检测到。
2. AGENTPOISON是否适用于其他类型的LLM代理任务？：文章主要测试了三种类型的代理，用户可能会关心这种攻击方法是否可以扩展到其他领域，如金融、教育等，以及在不同任务中可能需要如何调整攻击策略。
3. 如何提高AGENTPOISON在面对更复杂防御机制时的攻击成功率？：随着防御技术的发展，可能会出现更先进的防御方法来抵御后门攻击。用户可能会疑问，是否可以对AGENTPOISON进行改进，使其在面对这些复杂防御机制时仍能保持较高的攻击成功率。