Chain-of-Action (行动链)：从Agent工作流到Agent模型

OpenAI的Deep Research功能推出后，开源社区出现了很多复现工作。比较有代表性的Hugging Face官方的Open DeepResearch，通过代码规划行动步骤，实现了思考(thought)和行动(action)交互的ReAct工作流。它同时支持后台接入系统一模型(如DeepSeek-V3)和系统二推理模型(如DeepSeek-R1)。

将之前总结的表格作更新。

要注意的是，表中第一列的Perplexity和秘塔是指早期传统AI搜索的核心模块。一方面，像秘塔和纳米搜索等现在后台也接入了R1，支持基于慢思考的搜索，其实和第二列的DeepSeek联网搜索基本一样了；

另一方面，AI搜索背后的实现涉及查询改写-重排-生成-后处理等工作流，RAG只是核心模块。接下来要讨论的也只是OpenAI Deep Research的核心模块，在o3微调版之前还有一个前置的GPT-4o负责明确用户需求。

可以看到，新增加的第四列-Open DeepResearch虽然支持接入推理模型，但仍然是基于工作流实现思考和搜索行为的切换，可以认为思维链CoT和行动链(Chain-of-Action, CoA)是独立的。

OpenAI Deep Research通过对推理模型增强工具使用能力，将思维链CoT和行动链CoA耦合，因此可以支撑更长链条的思考-搜索循环，从而完成更复杂的知识搜索任务。

1. Agent工作流 vs. Agent模型

Agent的两个核心能力是任务规划和工具使用。推理模型实现了任务规划的行为内化，在此基础上继续增强了工具使用能力的推理模型，可以给它起一个新的名字：Agent模型。

之前通过模型编排实现任务规划、工具使用等Agent效果的方式称为工作流。那么，Agent模型和Agent工作流的区别是什么？

可以结合此前慢思考/推理的不同实现方式来理解。慢思考/多步推理的方式在o1推理模型出现之前就有了。最早的 CoT 论文提出了通过 prompting 的方法来实现多步推理，利用in-context learning来“强迫”模型生成多步思考的输出，可以认为也是一种工作流。

而o1及之后的推理模型使用的是基于学习的方法：无论是只SFT、先SFT再RL，还是直接RL。推理模型从训练阶段学习了思考步骤之间的关联，因此推断时的多步思考行为是“自愿”的。与工作流方法相比，这种方式产生的思维链逻辑性更强，并可以递进式地生成更深入的内容。

同样的，为了实现边思考边行动的能力，此前的Agent工作流的方式通过更为复杂的prompting (可以成为“工作流工程”)，“强迫”模型在思考和行动之间切换。

而通过将耦合的 CoT 和 CoA 训练到模型行为中，Agent 模型能够“自愿”地决定何时以及如何进行行动。比如OpenAI Deep Research可以进行动态规划，在需要的时候才进行搜索，并基于上下文选择使用什么搜索词。像人类在完成知识研究类任务时一样，循序渐进、步步深入地挖掘更深层次的内容。

再来看OpenAI的AGI路线图。第一层Chatbot和第二层Reasoner都只关注人和模型的二元交互，区别在于Reasoner层的模型在回答之前先进行慢思考推理。

第三层Agent需要模型边思考边行动，因此还需要考虑外部环境，是人-模型-环境的三元结构。行动即是通过工具使用与环境交互来获得反馈，经过多轮think、action和observation的迭代，最终生成回复。

Operator和Deep Research都是如此：Operator的环境是操作系统和应用程序，而Deep Research目前的环境是网络信息和数据资源。

2. 如何训练Agent模型？

从形式看，推理模型的数据是（Q,CoT,A），Agent模型的数据是（Q,CoT,CoA,A）。其中CoA中每个Action的格式是<action_type, action_content, action_feedback>。其中action_type（如“search”）和 action_content（如“query”）是模型生成的。action_type和action_content都是使用工具的参数。action_feedback（如”search result”）是使用工具后环境反馈的结果。

最直接的是沿用推理模型已经证明成功的训练方法。此前我们在复现OpenAI的强化微调RFT时，只将其应用于增强领域推理能力。如果拓展RFT的使用范围，将工具使用能力也通过RFT微调，嵌入推理行为，似乎可以实现Agent模型的训练。

有两种方式。（1）技术理想派：只提供(Q,A)。像DeepSeek R1一样，只给模型问题、最终答案和硬规则(比如鼓励think、鼓励tool use)，让模型自己采样生成合适的CoT和CoA。不过这要比只生成CoT更困难：不仅要生成新的action类型，还要将action和think耦合。

（2）实用派：提供（Q,CoT,CoA,A）。如果有(少量)包含完整思维链和行动链的数据，可以先在（Q,CoT,CoA,A）上SFT，然后在（Q, A）或（Q,CoT,A）上RL。

有两点要注意。一个是与CoA所有输出都由模型生成不同，CoA的feedback由工具使用后反馈，因此包含CoA的RL训练涉及与外部环境交互。这里可以参考MuZero的做法，同步进行环境的世界模型训练和策略模型训练。

第二点是，Agent模型的训练让我们更清楚地看到了模型能力的积累。有了系统一底座（4o/V3）的行动action（如tool use）能力、系统二模型（o3/R1）的链式推理Chain-of-X的能力，才有可能得到Agent模型的Chain-of-Action能力。

当然，也有一种可能。因为生成action_type/content本质上和生成think是一样的，如果系统一底座已经具备了很好的tool use能力，在训练推理能力的时候，CoA会和CoT一样自动涌现。

3. 影响

主要看一下对Agent平台的影响。Agent模型的将原本手动设计的CoT+CoA工作流内化为模型行为，从而进行自动生成。这可能让所谓的工作流工程消失。

这和我们已经经历的特征工程和提示工程的消失类似：深度学习的特征学习能力让手工设计特征不再必要，而像 R1 这样的推理模型增强了指令理解能力，让设计提示词也变得不再重要。

当工作流生成能力下沉到模型层，Agent平台上提供的预设/定制工作流的价值会大大降低。Agent平台将成以RFT as a Service（RFTaaS）的形式运行：用户提供(Q,A)或少量(Q,CoT,CoA,A)就可以构建自己的Agent，相比现在专家设计工作流的门槛降低、灵活性则提高。

当然，平台上的向量数据库和工具接口也需要和Agent模型适配，这也将促进之前讨论Agent路线图时Agent OS为代表的下一代计算机的发展。在Agent内部，Agent模型(CPU)与工具(程序)和数据/记忆(I/Os)之间的接口设计；在Agent之间，不同Agent模型、不同Agent OS之间的通信协议。

Agent能力的提升依然依赖信息获取和信息处理两类工具库的丰富。信息获取包括数据源和非结构化信息解析能力。关于数据源，虽然OpenAI的 Agent 模型暂时具备优势，但谷歌等大厂的数据资源优势则大得多：谷歌搜索引擎、谷歌学术、谷歌图书馆、YouTube，微软的Github，X的X.com等。

信息处理工具则包括通用的可视化、数据库分析等，以及面向不同专业领域的工具，如科学实验仿真、数值计算等。

结合Operator代表的Computer use与操作系统和应用程序的交互，Agent的目标是实现对人类通过鼠标和键盘操作可以完成的任务的全面优化和替代。