仅靠提示词就想让AI帮你业务落地？太天真了，你需要的是上下文工程！

曾几何时（也就去年吧）我们只要一句‘step by step’就能让AI交付一版质量显著提升的任务结果。但是随着AI的进化，现在已经很难实现了。模型能力的发挥高度依赖于输入的上下文信息。 早期， 研究者通过 提示词工程 （ Prompt Engineering）来提高模型输出质量， 即精心设计 输入指令或示例来引导LLM产生期望的回答。 提示词工程在一定程度上缓解了“模型不懂我们想要什么” 的问题， 但随着应用场景变得复杂， 其局限也逐渐显现。 例如， 模型缺乏对长期对话历史的记忆， 无 法自动获取外部知识， 每次交互都像孤立事件， 无法利用丰富的上下文信息。 这导致模型经常“ 一问三 不知”或前后矛盾，无法满足现实业务中连续性、个性化和准确性的要求。

为此， 学术界和产业界开始探索更系统的方法来优化LLM的上下文供给。 近期， 中国科学院等机构发布了综述论文《 A Survey of Context Engineering for Large Language Models 》。 该论文正式提出了“ 上下文工程 ”（Context Engineering）这一概念， 将其定义为超越简单提示设计、 对提供给LLM的信息内容进行系统性优化的研究领域。 上下文工程旨在构建 动态的信息系统， 为模型实时提供 正确的信息、 工具和格式， 帮助模型更好地完成任务。 这一范式的 转变，标志着AI应用开发正从“拼模型参数”和“写好提示词”，转向 “工程化地供给上下文”的新阶段。

我是feinstein，一个站在AI背后的人。智能体行业业务落地探索者，也坚持各个领域AI新工具的实测，致力于让更多人享受到AI赋能提效带来效率提升。本篇文章来简单聊聊这篇新论文《 A Survey of Context Engineering for Large Language Models 》

上下⽂⼯程的定义与核⼼思想

那么， 究竟什么是上下文工程？简单来说， 上下文工程就是 设计和管理LLM所需的上下文信息， 以最 大化模型在各项任务上的表现。 它不仅关注某一次的提示词， 而是构建一整套流程， 动态地为模型 组 装、 筛选和呈现 所需的背景信息。 通过上下文工程， 我们确保AI系统在与用户交互时， 能够获得 准确 且有意义的输出。 上下文工程的核心思想在于：  为LLM创造一个丰富的“信息环境”。 这就好比让模型在解决问题时有一 本“作弊小抄”和各种工具可用。 正如研究者Andrej Karpathy所言， 上下文工程是“提供任务所需的全部 背景， 使LLM能够解决问题” 的艺术。 具体来说， 上下文工程要考虑模型在推理时所看到的一切信息，

包括系统指令、 用户当前提问、 历史对话记录、 从知识库检索的资料、 可用工具的描述， 甚至模型之 前生成的中间结果等等。 通过精心编排这些元素， 开发者可以极大提升模型对任务的理解和执行能 力。 与传统提示词工程相比， 上下文工程是一种更系统、 更全面的方法。 提示词工程关注的是 单次输入 的 措辞和示例， 而上下文工程关注的是 整个信息生态 的构建。 前者好比给模型下达一条指令， 而后者则 是为模型配备一位贴身助手， 不断提供实时路况、 用户偏好等全方位信息。 这种转变使AI能够在多轮 对话、复杂任务中保持连贯和智能，而不再每次都从零开始。

论文里将上述内容分成了2个类别1. 基础组成部分 (Foundational Components)这些是构成上下文工程的基本要素，旨在优化LLM的信息负载：

• 上下文检索与生成 (Context Retrieval and Generation)：涉及从外部知识源获取相关信息，并根据需要生成新的上下文。
• 上下文处理 (Context Processing)：对检索或生成的上下文进行处理，例如清洗、格式化、结构化等，使其更适合LLM使用。
• 上下文管理 (Context Management)：动态地组织、过滤和优化输入到LLM的上下文信息，包括对上下文窗口的有效利用和长期记忆的维护。

2. 高级系统实现 (Sophisticated Implementations / System Architectures)这些是将基础组成部分整合到实际应用中的复杂系统架构：

上下文工程的优势与应用价值

上下文工程的兴起,被视为AI发展史上的一次重要范式转变。它带来的优势和应用价值体现在多个方面:

● 提升模型性能与可靠性:通过提供丰富的上下文,LLM能够更准确地理解用户意图和问题背景,从而给出高质量的回答。研究表明,在模型推理时供给相关的背景信息,可以显著提高答案的准确率和相关性。此外,上下文工程有助于减少模型“胡编乱造”(幻觉)的情况,因为模型可以基于事实性的资料进行回答,而不是仅依赖内部不可靠的知识。这对于要求准确性的应用(如医疗诊 断、法律问答)尤为重要。

● 增强对话连续性与个性化:上下文工程使AI系统能够“记住”用户之前说过的话和偏好,从而在多 轮对话中保持连贯一致。用户不必反复重复信息,AI也能根据历史上下文提供个性化的回应。例 如,一个上下文感知的客服机器人在用户第二次咨询时,会自动调取其账户和历史对话作为背 景,因此回答更有针对性,而不会每次都像第一次接触一样生硬。这种连续性和个性化极大提升 了用户体验,使AI交互更接近人与人交流的感觉。

● 支持复杂任务与多模态信息:随着上下文工程的发展,AI可以处理更复杂的任务流程和多类型的 数据。通过工具集成,模型可以执行多步操作,例如先查询数据库再生成报告,或者一边搜索网 络一边回答问题。这使得AI从被动回答转向主动“做事”,胜任更广泛的应用场景。同时,上下文工 程也为 多模态 交互提供了可能 -- 系统可以将图像、音频等非文本信息转换为文本描述或特征, 融入LLM的上下文,从而让模型理解和生成跨模态内容。例如,一个多模态AI助手可以在对话中 插入用户上传的图片内容作为上下文,然后给出图文并茂的回答。这些能力拓展了AI的应用边

界,使其能够应对现实世界中复杂多变的需求。

● 加速业务落地与降低成本:对于企业而言,上下文工程提供了一种 低门槛利用LLM的方式。通 过RAG等技术,企业可以直接将自有数据接入LLM,而不需要从零训练一个庞大的模型。这大大 缩短了开发周期,降低了AI落地的技术和资金门槛。此外,上下文工程强调模块化设计,各组件 (检索、记忆、工具等)可以独立优化和替换。这意味着企业可以根据自身需求灵活搭建系统, 而不必等待模型本身的升级。例如,当有新的知识需要加入时,只需更新知识库或调整检索策 略,而不用重新训练模型参数。这种灵活性和可维护性使得上下文工程在实际业务中具有很高的 实用价值。

我们不再一味追求AI模型自身变得多么聪明,而 是通过工程手段为模型创造一个良好的“舞台”,让它充分发挥已有的能力。正如业内专家所言:“魔法 不在更聪明的模型或算法,而在于为正确的任务提供正确的上下文”。上下文工程所带来的这种理念转 变,正在推动AI应用走向更智能、更可靠、更以人为本的方向。

总结与思考

上下文工程的提出和兴起，对人工智能的发展方向和企业应用落地都带来了重要启示。论文中提及的，也是我们在服务企业AI业务落地中正在实践的，智能体搭建也好，企培也好。

在四个月前我发表的一篇文章中也提到了。你该修炼哪些能力。

而现在，在程序化的基础上，应该在加上一条，系统性思维。

未来AI的竞争不仅是模型 本身的比拼，更是 生态和数据 的比拼。谁能构建起更丰富、更优质的上下文供给体系，谁的AI应 用就能在实际效果上胜出。因此，企业在布局AI时，应重视构建自己的数据资产和工具链，通过上下文工程将其转化为AI能力。

参考资料

[1] Context Engineering: The New Frontier of Al Development | TechAcc https://medium.com/techacc/context-engineering-a8c3a4b39c07

[2] Context Engineering in Large Language Models - Medium« https://medium.com/@techie_chandan/context-engineering-in-large-language-models-crafting-intelligence-with-precision-401aab860194

[3] Computer Science« http://www.arxiv.org/list/cs/new?skip=975&show=500

[4] A Survey of Context Engineering for Large Language Models https://hub.baai.ac.cn/paper/1a3763b7-6e29-4e77-ad27-5a1337b23b24

[5] Best Practices in Retrieval-Augmented Generation (RAG) https://agentstudio.ai/blog/best-practices-in-rag

[6] The New Skill in Al is Not Prompting, It's Context Engineering« https://www.philschmid.de/context-engineering

[7] State of Memory-Augmented Language Models - by Rohan Paul https://www.rohan-paul.com/p/state-of-memory-augmented-language