有效的 Context 工程（精读、万字梳理）｜见知录 004

本期概要：

• 方法：有效的 context 工程
• 梳理：Anthropic 界定的 Agent 类型
• 反思：止损线，亦是起跑线

• Prompt 工程，专注单轮 AI 交互的生成质量，是为获得最佳结果而编写和组织 LLM 指令的方法。
• Context 工程，更关心在多轮 LLM 推理过程（可通俗理解为 Agent 运行过程）中，找到并维护动态优化整个 LLM 所接触的上下文信息配置
  
• （包括系统指令 system instructions、工具 tools、MCP 协议、外部数据、消息历史 message history）的策略。
• 目标是以尽可能少且必要的 tokens，最大化 LLM 生成结果，引导模型输出我们期望的行为。

Anthropic 《Effective Context Engineering for AI Agents》：context engineering 与 prompt engineering 的差异 

• 回答深度降低： 越来越难深入结合前文你提供的细节，提供创造性和细节度俱佳的回应。通常你不得不重新发送关键 Prompt，再次强调可能有用的细节。
• 混乱归因：在做归纳或分析时，胡乱地把你上文中提到的不相关细节关联起来，得出一些南辕北辙的奇怪结论。
• 忘记前序指令： 忘记了对话早期你对它的回答要求（比如不要滥用比喻句式），但随着你自己使用了类似比喻的文风后，又开始犯轴。

1. 1.Context 输入越长 → 注意力被稀释。
2. 2.问题与关键信息的语义相似度越低 → 模型越难匹配到答案。
3. 3.关键信息与周围干扰内容的语义相似度越高 → 干扰增强，模型难以分辨。

干草堆：[大量无关文本] 

藏在干草堆的针信息：“我从大学同学那里得到的最好的写作建议是每周都要写作。”

问题 Prompt：“我从大学同学那里得到的最好的写作建议是什么？”

此时，模型被期望能从大量干草堆中，直接找到针信息，并回答“每周都写作”。全程无需间接推理信息，直接根据已有信息回答即可。

• 一方面，需要 LLM 处理“针-问题”之间的模糊语义：“我周末去了动物园，并在那里喂了长颈鹿。”，那么问题“动物园里有什么动物”
• 另一方面，真实的上下文中，往往充满了容易误解的干扰项。比如，“我从我大学教授那里得到的最好的写作建议是每天写作”，就会对上文“大学同学的写作建议”形成干扰（就如人类读一篇文章很快、很长时，也容易记错细节）
  
  

  

1. 1.“针-问题对”相似度测试：构造不同语义理解难度的问题，测试不同 context 长度对回答的影响
2. 2.干扰项测试：设置“不同的数量 + 不同的放置位置”的干扰项，测试不同 context 长度对回答的影响

1. 3.“针-干草堆”相似度测试：当针信息与上下文的向量语义逐渐接近时，测试不同 context 长度对回答的影响
2. 4.上下文文本、段落结构测试：测试相同内容含义时，逻辑连贯的结构与杂乱颠倒的结构，是否对模型推理性能有所影响

1. 1.无论如何，context 长度增加时，模型完成同样任务（即使很简单）的能力都会下降
2. 2.针与问题之间的语义关系越难理解（相似度低），受 context 长度影响越大；且这种下降在长输入时会被显著放大。

   而 Context 长度较短时，模型对低相似度的问题，有更高的处理成功率

3. 3.context 越长，干扰项对模型的影响也会加剧
4. 4.针与干草堆的内容，在语义上越接近（主题越相关），模型识别针的能力越差。 如果针在语义上与周围内容格格不入（逻辑不连续、主题突兀），模型反而更容易识别。就像人玩找茬游戏，对突兀的信息更敏感。

   难：在 10 篇“写作建议”文章中找“最佳写作建议是每周写作”

   易：在“量子物理、烹饪、园艺”文章中找“最佳写作建议是每周写作”

Anthropic《Effective Context Engineering for AI Agents》：图解 Agent 开发中，context engineering 的起效形式

• 启发式引导：系统提示 System Prompt 应当足够灵活地为模型提供启发式引导，使其既能具体地输出所需的结果，又能泛化应对各类边界情况。

  比如「利用 LLM，评估事情的重要性」：

  评估事情的重要性。比如，在 1 到 10 的刻度上，其中 1 是完全世俗的（例如，刷牙，整理床铺）和 10 是极其深刻的（例如，大学录取、结婚）

• 结构化提示：AI 更容易读懂未经精排的提示词了，但结构化提示方法依然值得被适度应用。

  使用<tag></tag>或##title式的 XML 标签 / Markdown 语法，分割不同指导作用的提示词。
  虽然随着模型能力提升，LLM 对复杂糅合的 Prompt 理解能力有所提升，但结构化提示词，依然有助于提升模型些许性能。

  更重要的是，大幅简化人类工程师理解、维护 Prompt 的难度。

• 先用聪明模型写一版最小化提示：

  写第一版提示词时，记得先用你能用到的最聪明模型，写出能大致满足要求的最小化 Prompt。

  （只有这样，你才能知道当下 AI 的能力边界，区分哪些是 Prompt 的问题，哪些是模型智力问题）

  最小化 Prompt 意味着用最少的提示信息量，优先定义“有什么、做什么”，而不是“怎么做”——把我们的提示词设计“最小化”。（详见：《见知录 Vol.001：最小化提示词原则》）

  

  
  

  
  

  

  根据 Prompt 测试过程中发现的问题，迭代必要的指令细节、few-shot，优化生成效果。

  最终再迁移到最终的生产模型，完成细化。

• 精选最小可行的 Agent 工具集：为 Agent 准备的工具，应当是自包含、能被 LLM 充分理解，且工具之间功能重叠少的。
• 自包含：工具自身包含了特定任务所需的所有逻辑和功能，不需要频繁访问外界或配合调用其他工具，即可完成任务。
• 能被 LLM 理解、使用：如果人类都不能准确描述何时使用什么工具、如何用调用，就不要指望同样依赖文本生成的 LLM 能够调用好工具。

• 谨慎在 Prompt 中添加示例！

  是的，我不喜欢滥用 few-shot。过度 few-shot 提示，往往会使得 AI 生成风格容易陷入僵化。

• 一般来说，个人会尽量避免在推理模型中使用 few-shot。

  Anthropic 团队也同样分享了他们的观点：

  Few-shot 是非常有效的 AI 提示实践，但要着重避免在 prompt 中塞满过多边缘例子，应该设计一组足够多样化、规范的核心例子，有效展现 Agent 的预期行为。

  （一些不好的 system prompt ，甚至会不给出准确、完备的背景信息、目的描述，就在那通过塞一堆“示例”，强行矫正表现不佳的测试结果。

  答应我，千万别学这个！

• 不然，越是开放的复杂任务下，模型泛化越是不堪直视，回答形式也极其僵化……比如虚拟陪伴）

• 与人类「整体回忆-深入回顾某段记忆细节-最终推理得到结论」的多步思考一样，其实没必要要求 Agent 在推理时，一次性回忆所需的全部上下文
  

• 像 Cursor 等 AI Coding 工具，就会按照用户需求，先翻阅项目文件夹中的 readme.md，了解项目文件结构 → 在 /resource/pic 目录找图片、到 /component 目录找组件代码等。

  在这个过程中，Agent 自主导航与检索信息，动态获取所需信息到上下文窗口中。
  （对应的，人类会先回忆自己的待办记在哪个备忘录、日历中，在到对应软件中翻阅记录，为大脑的上下文窗口实现动态挂载与减负。）

• 此外，即时上下文方案，也有助于渐进式披露上下文，为后续工作提供参考记忆。

  即使是每一次 Agent 检索所获取的文件名称、大小、文件创建时间，这些信息也都有助于 Agent 在后续推理中，判断信息的相关性与价值（命名规范暗示用途；文件大小暗示复杂性；创建时间可以作为相关性参考）（可以让 Agent 自行记录 memory 笔记，将这些工作记忆摘要与持久化。）

• 方法： 让模型触发一个“总结”动作，提炼历史对话。

  以 Claude Code 为例，模型会保留开发架构决策、未解决的错误和关键实现细节，同时丢弃冗余的工具输出或过于细枝末节的消息。

• 工程调优思路： 用于压缩的 prompt，可以先以「最大召回率」 为目标进行编写，确保能从历史中提取所有相关信息；然后再迭代提示词，逐步消除总结中的冗余内容，提升压缩精度。

1. 1.Agents 定期把重要记忆（如中间结论、待办事项、用户画像、用户活动）写入到可供 Agent 读写的外部笔记文件
2. 2.在后续推理执行过程中，按需将记忆拉回上下文窗口。

我之前在测试 Browser-use Agents 的 2048 游戏最高分时，也将「在每一步游戏操作后，自行反思并记录心得与教训」作为 Agents 的 system prompt。

AI 在游戏过程中，就会额外记录结构化笔记，指导 AI 在新一轮游戏的操作决策，改进游戏得分。如：

- 心得 1：固定一个角落放最大块（常用底部左/右角），尽量不要把它移出该角”
- 心得 2：尽可能往同一个方向合并数字方块

• 压缩适合多轮对话交互任务；
• 结构化笔记记录适用于持久化保存工作记忆；
• 多智能体架构则方便分解复杂任务，缓和单 Agent 的上下文压力。

• Effective context engineering for AI agents｜By Anthropic：https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
• Managing context on the Claude Developer Platform｜By Anthropic：https://www.anthropic.com/news/context-management
• Context Rot: How Increasing Input Tokens Impacts LLM Performance｜By Chroma：https://research.trychroma.com/context-rot

• 工作流 Workflow：把 LLMs 和工具通过代码，预编排好执行路径的规则流程。
• AI 代理 Agent：由 LLMs 自主指导其执行过程和工具使用的自主系统。
• 
  

• 无硬性规定与优劣，应当以解决问题为目标出发，可以用多种类型进行组合。
• 最小化设计原则，如无必要，无增实体。从简单提示与优秀模型开始，实验并构筑第一个版本的「Agent」。只有智能不足时，才考虑调优工程，添加更多步骤与 Context 指引。
• 请注意 Agent 的可解释性与维护性，不可解释的 Agent 无法维护，无法维护则无法针对生产环境的各类问题进行工程调优。所以请保持 Agent 的规划步骤的透明度

• 给 LLM 配上检索、工具、记忆等增强功能，LLM 可以主动使用，生成自己的搜搜查询、选择合适的工具。
• 和 Agent 的区别是，增强型 LLM 不会规划任务流程，也无法自行决定下一步做什么，不能自主进行多轮交互。

• 提示链工作流（Workflow： Prompt Chaining） 
• 通过将任务分解为多个子环节，由多个 LLM 分别处理前一个环节的输出，就像 coze、dify 一样。
• 示例应用：营销文案生成 → 翻译为其他语言；文章大纲生成 → 检查 → 分段完成正文编写

• 路由式工作流（Workflow：Routing） 
• 允许 LLM 分类 input，并在更合适的子任务中解决。可以对不同类型的任务进行分别的提示优化，不会干扰其他任务的表现
• 比如：AI  客服、Chatbot 自主切换回答模型（简单问题就切换到小模型，类似 ChatGPT 5 网页服务，优化成本和响应速度）

• 并行式工作流（Workflow：Parallelization） 
• Sectioning：在与用户对话时，一个模型负责处理用户意图，一个模型筛查问答中不适当、不合规的内容。
• Voting：代码 or 内容审计，通过不同模型/不同提示，从不同方面对内容进行评估，甚至通过投票阈值来过滤假阳性。
• 并行式有两种应用角度，一是分治可并行的独立子任务；二是多次运行同一任务获取多样化结果 or 进行投票
• 什么时候使用效果更好？1）提升任务执行性能；2）LLM 同时处理多因素任务是困难的，分解为单因素单个模型处理，会更好
• 比如： 

• 协调-执行式工作流（Workflow：Orchestrator-Workers） 
• 中央 LLM 分解任务（相较并行式更灵活，子任务不是预先定义的），工作者 LLM 分别执行，返回结果，综合输出。
• 示例应用：对多个文件进行复杂更改的 coding 产品， 分解需要从多个来源收集信息的 search 任务等。

• 评估-优化式工作流（Workflow：Evaluator-Optimizer）
• 何时使用？——当人类清晰地表达其反馈时，LLM 的响应可以明显改进；其次，LLM 能够提供这种反馈
• 比如：Search 场景、多轮文学创作与编辑（Evaluator 对多轮生成内容，进行综合反馈与建议）

Anthropic 把 Agent 定义为：LLMs autonomously using tools in a loop.

• 通常指自主智能体，不断基于环境反馈的循环使用工具。能够理解复杂输入，推理与规划，以及从错误中恢复。（通常会包含最大迭代次数，控制 Agent 行动何时终止）
• 常见的 Computer Use、Coding Agent 均在此列
• 随着底层模型能力的提升，Agent 独立解决复杂问题、处理错误反馈的能力也会随之提升

• Building effective agents｜BY Anthropic：https://www.anthropic.com/engineering/building-effective-agents

• 忧虑某个商业模式、变现机会能走多远，导致面对送到手上的机会时，迟迟不敢下注。
• 因过度追求构建“长期可靠”的关系，而忽视在当下接触到的人，就无法通过一段段交织的关系，成长为更好的自己。

比如现在有多少储蓄，现在来看，最多愿意设置 xx 时间、金钱的止损线。再次之前要尽情探索自己创业可能性，到了止损阶段后，即使回去上班，自己也能接受。