构建AI智能体上下文工程的10个核心策略

推荐语

掌握AI智能体上下文工程的10大策略，让你的智能体表现更精准高效。

核心内容：
1. 上下文工程的重要性及常见失败模式
2. KV缓存优化设计与检索增强生成(RAG)技术
3. 从基础到商业化的AI智能体开发进阶路径

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

随着大语言模型能力的飞速发展，构建高效的 #AI智能体 已成为技术前沿的核心挑战。与传统的聊天机器人不同，智能体需要在复杂的多步骤任务中保持连贯性、准确性和效率。而这一切的关键，正是上下文工程。

#上下文工程 是一门新兴的实验科学，它决定了智能体的行为方式：运行速度、错误恢复能力以及扩展范围。无论底层模型多么强大，如果不能有效管理上下文，智能体的表现都会大打折扣。

正如经典的编程原则所说："Garbage in, garbage out"，可译为“废料进，废品出”，如果将错误的、无意义的数据输入#计算机系统，计算机自然也一定会输出错误、无意义的结果，延伸到智能体构建中，上下文的每一个 token 都会影响模型的响应质量。

可以关注公众号 #极客开源 👆获取最新一手 #AI大模型 #开源项目 信息，如果这篇文章对你有用，可以点个“推荐”，听说会影响公众号的 #推荐算法。

上下文失败的常见模式

在深入具体策略之前，需要先了解长上下文可能出现的几种典型失败模式：

上下文污染：当幻觉或错误信息进入上下文后，会被反复引用，导致错误累积。

上下文分散：当上下文过长时，模型会过度关注上下文内容，而忽略训练期间学到的知识。

上下文混乱：上下文中的冗余信息被模型用来生成低质量的响应。

上下文冲突：新信息和工具与上下文中的其他信息产生冲突。

这些问题的核心都指向同一个原则：有效的信息管理是成功的关键。

如果想要系统学习 AI 智能体开发可以去看这本《AI Agent 开发与应用》，本书覆盖了从简单到复杂开发AI Agent的五个阶段：Level1基础工具与指令、Level2知识库集成、Level3记忆推理能力、Level4多智能体协作、Level5系统化商业化。

核心策略一：KV 缓存优化设计

KV 缓存命中率是智能体在生产环境中最重要的性能指标之一，直接影响延迟和成本。典型的智能体工作流程中，模型需要从预定义的动作空间中选择行动，执行后将观察结果追加到上下文中。这个过程导致上下文持续增长，而输出相对简短，形成高度倾斜的预填充与解码比例。

在一些实际应用中，智能体的平均输入与输出的 token 比例可以达到 100:1。利用 KV 缓存可以显著降低首次生成时间（TTFT）和推理成本，缓存与非缓存的成本差异可达 10 倍之多。

优化实践

保持提示前缀稳定：由于 LLM 的自回归特性，即使单个 token 的差异也会使后续缓存失效。常见错误是在系统提示开头加入精确到秒的时间戳。

确保上下文只追加：避免修改历史操作或观察结果。确保序列化过程是确定性的，因为许多编程语言在序列化 JSON 时不保证键顺序稳定。

标记缓存断点：在支持的模型上，在自然断点处（如新会话开始或主要上下文切换）明确标记缓存分段。

核心策略二：检索增强生成（RAG）

尽管上下文窗口不断扩大，选择性地添加相关信息仍然比"全部塞入"更有效。当上下文被当作杂物抽屉使用时，杂乱的信息会影响响应质量。

#RAG 的核心是信息的精准选择。通过语义搜索、向量数据库等技术，只将与当前任务最相关的信息加入上下文，既保证了信息的完整性，又避免了信息过载。

核心策略三：动态工具装载

工具选择对智能体性能有着关键影响。研究表明，当工具数量超过 30 个时，工具描述开始重叠，造成选择困难。超过 100 个工具时，模型几乎必然失败。

优化方法

基于任务的工具推荐：使用 LLM 分析用户查询，推理所需的工具数量和类型，然后通过语义搜索确定最终的工具集合。

性能考虑：即使动态工具选择没有提升准确性，也能带来显著的功耗和速度优势——分别可达 18% 和 77% 的改善。

对于边缘计算场景（如手机或 PC 上运行的 LLM），这种优化尤为重要。

核心策略四：上下文隔离

将大型任务分解为较小的、隔离的子任务，每个子任务拥有独立的上下文，可以显著提升性能。这种方法特别适用于研究类任务，可以并行探索不同方向，然后将最重要的信息汇总给主要智能体。

实际效果

多智能体研究系统在广度优先查询方面表现尤为出色，可以同时追求多个独立方向。实践中，多智能体系统的表现可以比单一智能体系统高出 90% 以上。

这种方法还有助于工具装载，因为可以为不同类型的智能体设计专门的工具集和使用指南。

核心策略五：状态外部化

智能体天生会累积状态：工具输出、中间结果、观察历史。随着任务复杂度增加，这些状态会快速增长。关键是在不丢失重要信息的前提下防止上下文溢出。

文件系统方法

将中间结果、工具输出和工作文件写入外部存储（如虚拟机环境）。如果智能体能够重新构建或检索状态，就可以安全地从即时上下文中删除较旧的信息。

这种方法模仿了人类的工作方式：面对复杂任务时，会写下笔记、创建草稿、保存中间结果，将认知负荷外部化。

Scratchpad 工具

提供一个专门的"草稿本"工具，让智能体记录不会污染主要上下文的笔记和进度。这种简单的方法在特定场景下可以带来高达 54% 的性能提升，特别适用于：

• 工具输出分析场景
• 策略密集型环境
• 连续决策制定任务

核心策略六：上下文剪枝

随着智能体执行工具调用和组装文档，有时需要暂停评估已积累的内容并移除冗余信息。这可以通过主要 LLM 完成，也可以设计专门的剪枝工具。

现代剪枝技术

像 Provence 这样的高效剪枝工具可以快速、准确地处理文档。它能够根据问题对文档进行剪枝，在保持相关性的同时大幅减少内容（减少幅度可达 95%）。

维护结构化的上下文版本（如字典形式）有助于剪枝操作，确保主要指令和目标得到保留，同时可以对文档或历史部分进行剪枝或总结。

核心策略七：上下文总结

上下文总结最初是为了处理较小的上下文窗口而开发的，但研究发现它带来的好处远不止于此。当上下文超过一定长度（如 10 万 token）时，智能体可能会过度依赖历史记录，而不是生成新的计划。

总结时机

预防性总结：在达到长度限制之前主动总结，避免上下文分散问题。

质量导向总结：不仅是为了长度控制，更是为了提升响应质量。

总结功能应该作为独立的模块开发，这样可以收集评估数据来优化这一关键任务。

核心策略八：注意力管理

通过复述机制操控模型注意力是一种有效的技术。当智能体处理需要大量工具调用的复杂任务时（平均 50 次调用），容易偏离主题或忘记早期目标。

复述技术

动态目标复述：定期将任务目标重写到上下文末尾，将全局计划推入模型的近期注意力范围。

待办清单维护：创建和更新任务清单，勾选已完成项目，保持任务焦点。

这种方法使用自然语言来引导注意力，无需特殊的架构修改。

核心策略九：错误保留学习

智能体犯错是现实，不是缺陷。语言模型会产生幻觉，环境会返回错误，外部工具会异常，边缘情况随时出现。在多步骤任务中，失败是循环的一部分。

学习机制

保留错误轨迹：将失败的尝试保留在上下文中，让模型看到失败的行动和相应的观察结果。

隐式信念更新：模型会根据失败经验隐式更新内部信念，改变先验假设，降低重复相同错误的可能性。

错误恢复能力是真正智能体行为的重要指标，但在大多数学术研究和公共基准测试中仍然代表性不足。

核心策略十：模式多样性

少样本提示在智能体系统中可能产生反效果。语言模型是优秀的模仿者，如果上下文充满相似的行动-观察对，模型会倾向于遵循这种模式，即使不再最优。

多样性策略

结构化变化：在行动和观察中引入控制性的结构化变化——不同的序列化模板、替代措辞、顺序或格式的微小噪音。

模式打破：受控的随机性有助于打破固化模式，调整模型注意力。

上下文越单一，智能体就越脆弱。适度的多样性是保持智能体灵活性的关键。

最佳实践总结

1. 结构化上下文管理：将上下文组织成结构化格式，便于各种操作（剪枝、总结、隔离）。

2. 主动监控和维护：定期评估上下文质量，主动清理冗余和有害信息。

3. 任务导向的优化：根据具体任务类型选择合适的策略组合。

4. 性能与质量平衡：在响应质量和计算效率之间找到平衡点。

5. 迭代改进：上下文工程是实验性的，需要持续测试和优化。

结语

上下文工程已经成为构建高效 AI 智能体不可或缺的核心技能。尽管大语言模型在能力、速度和经济性方面不断进步，但原始能力无法替代精心设计的记忆、环境和反馈机制。

上下文的塑造方式最终决定了智能体的表现：运行速度、错误恢复能力和扩展潜力。每个 token 在上下文中都有其价值，必须赚取其存在的理由。现代 LLM 的大上下文窗口是强大的能力，但不是信息管理松懈的借口。

智能体的未来将通过一次一个上下文的精心构建来实现。在构建下一个智能体或优化现有系统时，关键问题是：上下文中的每个元素都在发挥应有的作用吗？如果答案是否定的，现在有十种策略可以解决这个问题