“上下文工程”比“提示工程”更能用好大模型

推荐语

Andrej Karpathy提出"上下文工程"新概念，揭示如何通过精准背景信息激发大模型真正潜力。

核心内容：
1. 从提示工程到上下文工程的范式升级
2. 构建有效上下文的七大科学要素
3. 上下文工程中艺术与科学的精妙平衡

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

你们平时可能都听过“提示工程（prompt engineering）”这个词，觉得它就是写几句话给AI让它完成任务。但今天我要告诉你们，这个词有点“过时”了，我们现在更喜欢叫它“上下文工程（context engineering）”！

这是来自AI大佬Andrej Karpathy观点：

为什么改名为“上下文工程”？
你们可以把AI想象成一个超级聪明的同学，它要完成一项任务，光告诉它任务是什么还不够，它还需要很多相关的背景知识。这个“背景知识”就是我们说的“上下文”。

• “提示”太简单了：
   就像你跟同学说“帮我写篇作文”，这只是一个简单的“提示”。
• “上下文”更丰富：
   但如果你同学想写好，他可能还会问你：“作文写什么主题？有没有范文参考？以前写过类似的文章吗？你想表达什么感情？”这些问题，再加上你的回答，共同构成了“上下文”。

在真正厉害的LLM应用里，“上下文工程”就是一门精妙的艺术和科学！它可不像你们平时用ChatGPT那样，随便输入一句话就完事了。

它是一门“科学”：
因为我们需要非常讲究地把各种信息精准地塞进AI的“大脑”里。这里面包括：
详细的任务描述和解释： 不仅仅是“写作文”，而是“写一篇关于环保的议论文，观点要积极向上，字数800字左右”。

少量示例（few-shot examples）： 就像给AI看几篇优秀的范文，让它知道什么样的文章是好的。

检索增强生成（RAG）： 这就像给AI一个搜索引擎，让它在海量信息中找到最相关、最新的资料来帮助自己。

相关数据（可能是多模态的）： 不仅仅是文字，可能还有图片、视频等等，AI可以从中获取更多信息。

工具： AI可能需要使用一些工具，比如计算器、翻译器，这些也需要提前告诉它。

历史和状态： AI要记住之前发生过什么，比如你之前问过它什么问题，它回答了什么，这样它才能更好地理解你接下来的意图。

信息压缩： AI的“大脑”容量有限，我们需要把大量信息浓缩提炼，只保留最重要的部分。

如果给的信息太少或者形式不对，AI可能就搞不清楚状况，表现得不那么聪明。但如果给的信息太多或者不相关，AI不仅会更“烧钱”（因为它处理的信息更多），甚至还可能因为它被太多干扰信息搞晕而表现变差。所以，怎么把握这个度，真的是一件非常复杂的事情！

它还是一门“艺术”：
因为这里面还有很多“只可意会不可言传”的成分，需要我们凭借直觉去揣摩AI的“心理”，就像是理解一个人的“脾气”一样。怎么让AI更好地理解我们，如何用最巧妙的方式引导它，这都需要经验和灵感。

“上下文工程”只是冰山一角
别以为搞定了“上下文工程”就万事大吉了！一个真正完整、强大的LLM应用，除了“上下文工程”这个核心技术，还需要做很多很多工作：

• 合理拆分问题：
   把一个大问题分解成一个个小步骤，就像搭积木一样，一步步引导AI解决问题。
• 高效填充上下文窗口：
   要精准地把每一步需要的“背景知识”打包好，塞进AI的“大脑”里。
• 选择合适的LLM模型：
   不同的AI模型有不同的专长和能力，要根据任务选择最适合的那个。
• 人机交互设计：
   要考虑用户怎么和AI互动，比如AI生成了内容，用户怎么验证，怎么修改，这些都需要精心设计。
• 以及更多……：
   比如安全防护（防止AI胡说八道）、性能评估（看看AI表现好不好）、并行处理（让AI同时处理多个任务）、预加载（提前准备好AI需要的数据）等等。

那些说LLM应用只是一个“ChatGPT套壳”的说法，简直是大错特错！它背后隐藏着巨大的技术挑战和创新。

网友热评：
1、“上下文工程”与“提示工程”其实类似，比如，对于一个陷入某个上下文中，你提示他一下，可以惊醒梦中人，比如出租车开得快多赚钱，你担心安全，那么你说一句提示：头晕，他此时正陷入赚钱上下文中，被你提示以后，也许觉得应该照顾顾客舒适度，这是服务，否则被投诉。

但是，上下文这个词语更能表达被提示对象处于认知陷阱，灯下黑状态，完全不自知，正如被电信诈骗转账时，还需要出动警察来提示才可能阻止，这是主体的认知陷入的陷阱有多深，身在庐山中不识庐山真面目！

2、Context engineering is the new vibe coding

3、人们使用 "提示 "一词，往往（不正确地）将一个相当复杂的部分轻描淡写化了。你可以提示 LLM 告诉你天空为什么是蓝色的。但是应用程序会为 LLM 建立上下文（一丝不苟），以解决他们的自定义任务。

4、简直是天才般的想法，完美解释了我们为什么要强调“上下文工程”的重要性！

人眼看世界，AI“看”信息
你们知道吗？我们人眼虽然看起来能看到一大片区域，但其实真正能看得最清楚的地方，就只有中间一个小小的点，我们叫它“中央凹”。就像你们玩游戏时，准星只有一个，但你却能感觉到屏幕上一切都挺清楚。这是因为我们的大脑很厉害，它会飞快地、自动地把这个“高精度准星”对准你最想看的地方，这样你就感觉整个视野都很清晰。

LLM的“准星”与“视野”
LLM的“上下文窗口”也是一个道理！它就像AI的“高精度准星”。它的“脑容量”是有限的，能一次性“看清”的信息量很小。尤其当你让它处理一大堆文件、代码或者文章时，这些信息量可能远远超过它能一次性“看清”的范围。

这时候，“上下文工程”就变得至关重要了！它就像一个超级筛选器和信息调度员。我们要做的，就是从海量的可能信息中，精挑细选出最有用、最关键的“金子”。然后，还要把这些“金子”按照正确的顺序、配上恰当的引导语，精准地“喂”给AI的“准星”。这样做，就是为了让AI的“大脑”能把所有的精力都集中在完成任务最有价值的部分上，不会被那些无关紧要的信息分心。

动态调整，让AI更聪明
更厉害的是，现在我们做“上下文工程”，已经不是那种“一锤子买卖”了！它可以在AI工作的过程中不断进化和调整。

想象一下，AI就像一个侦探，它可能先去图书馆找了一些线索（第一次搜索）。根据这些线索，它发现某些方向更有价值，于是又去档案馆找到了更关键的证据（第二次搜索）。如果档案馆的证据比图书馆的更有用，它甚至会把之前从图书馆拿到的不那么重要的线索“扔掉”，只保留最有用的信息。

这种动态的、像“智能体”一样不断调整“焦点”和“线索”的管理方式，正是我们现在面临的最大挑战！但也是它，能让我们开发出最强大、最聪明的AI应用！

5、一切都与上下文工程有关。LLM是无状态函数，它将输入转化为输出。为了获得最佳输出，你需要为它们提供最佳输入。
创造良好的上下文意味着：

• 你给模型的提示和指示
• 您检索的任何文档或外部数据（例如 RAG）
• 任何过去的状态、工具调用、结果或其他历史记录
• 任何来自相关但独立的历史/对话的过去信息或事件（记忆）
• 关于输出什么类型的结构化数据的说明

6、我非常喜欢 "上下文工程 "这个术语，而不是 "提示工程"。
它更好地描述了核心技能：为任务提供所有上下文的艺术，使 LLM 能够似是而非地解决任务。 

7、我真的很喜欢！但还是深了一层。 我认为实际的技能更像是意图工程。非常清楚地表达你想要什么。尽管很关键，但背景仍然只是支持。 更重要的是清晰的思维。

8、点菜 vs. 当大厨：天壤之别！
你们平时去餐厅吃饭，是不是觉得只要会点菜就行了？“服务员，来份宫保鸡丁，再来份麻婆豆腐！”——这就像是你们平时给ChatGPT发提示（prompt），简单明了。

但真正的AI大模型应用，它可不是个点菜的顾客，它是一个要在厨房里掌勺的大厨！你想想看，一个大厨要做一桌菜，他得：

• 协调二三十种不同的食材
  ：这就像AI要处理海量的信息，文字、图片、代码、数据……五花八门。
• 完美掌握时间，不能把菜烧糊了
  ：这就像AI要精准地在有限的“思考时间”内给出结果，还得保证结果的质量。
• 确保每道菜都色香味俱全
  ：这就像AI要确保输出的内容是高质量、符合要求的。

所以，大部分人以为的“提示工程”，就是像点菜一样，写几句聪明的请求给ChatGPT。但真正的LLM应用，那可是在厨房里上演一场高难度、高效率的“美食大戏”！

信息“俄罗斯方块”：玩转上下文
你们玩过俄罗斯方块吧？那些方块得想办法拼到一起，不能有空隙，也不能堆太高。LLM应用处理信息，就像在玩一场超级复杂的“信息俄罗斯方块”：

• 什么数据能塞进它的“小窗口”里？
   （上下文窗口就像那个有限的游戏区域）
• 这些数据要按什么顺序放进去才最合理？
• 要包含多少历史信息，才不会“爆预算”
  （因为处理的信息越多，成本越高）？

这都需要精密的计算和巧妙的安排，才能让AI在有限的“脑容量”里，获得最有效的信息支持！

幕后“指挥家”：模型间的华丽交响
除了这些“俄罗斯方块”，AI大模型应用在幕后还有一场华丽的“交响乐”！它就像一个高超的指挥家，协调着所有的乐手：

• 把大问题拆成小块
  ：就像把一首复杂的交响乐拆分成不同的乐章。
• 缓存结果
  ：就像把已经演奏好的乐谱放在一边，下次需要直接拿过来用，不用重新演奏。
• 在不同模型之间灵活切换
  ：有些“乐手”速度快（快速出答案），有些“乐手”水平高（答案更精准），指挥家会根据需要，让不同的“乐手”上场。而且，每个“乐手”的“演出费”还不一样！指挥家得考虑怎么用最划算的方式，奏出最完美的乐章。

所以，那些嘲笑说LLM应用只是个“ChatGPT套壳”的人，他们根本不知道为了让这些东西真正大规模地运转起来，需要投入多少复杂的工程设计和智慧！那可不是简单的套个壳子，那是一场科技与智慧的极致融合！

9、正是如此。重新训练人工智能需要多长时间？几个月。

所以，如果你不给它提供正确的上下文，它就会获得过时的信息。

这就是为什么我们会看到所有这些研究模型涌现出来，因为它们会进行实时网络扫描以提取上下文，然后反馈给模型以进一步提示。