Agents in Production: Insights from Contextual AI's CEO" class="rich_pages wxw-img" data-imgfileid="100000657" src="https://api.ibos.cn/v4/weapparticle/accesswximg?aid=110617&url=aHR0cHM6Ly9tbWJpei5xcGljLmNuL3N6X21tYml6X2pwZy9uNEtRdm1FR1g1Q1M0V3lZR2ZKRmlhR0dHaWJ3OWVtZHdaNXAyelZuU0NWc3FZOVJxeFRpYUYzT2hwMkNTV0FWdG5Sc2ljNWJ2a2twZk84VGtwZ1BNVmtqQ2cvNjQwP3d4X2ZtdD1qcGVnJmFtcA==;from=appmsg" data-type="jpeg" style="display: block;margin-top: 0px;margin-right: 10px;margin-bottom: auto;margin-left: 10px;max-width: 100%;width: 100%;height: 100%;border-top-style: none;border-bottom-style: none;border-left-style: none;border-right-style: none;border-top-width: 3px;border-bottom-width: 3px;border-left-width: 3px;border-right-width: 3px;border-top-color: rgba(0, 0, 0, 0.4);border-bottom-color: rgba(0, 0, 0, 0.4);border-left-color: rgba(0, 0, 0, 0.4);border-right-color: rgba(0, 0, 0, 0.4);border-top-left-radius: 0px;border-top-right-radius: 0px;border-bottom-right-radius: 0px;border-bottom-left-radius: 0px;object-fit: fill;box-shadow: rgba(0, 0, 0, 0) 0px 0px 0px 0px;">

AI 智能体展现出令人惊叹的潜力，但企业往往难以在试点后获得实际价值。"上下文悖论"是主要障碍——AI 在复杂任务上表现出色，却难以理解企业特定环境。本文基于 [Contextual AI] 首席执行官 Douwe Kiela 的经验，适合任何部署检索增强生成(RAG)系统的团队。文章总结了为财富 500 强企业扩展 AI 的 10 个关键经验，重点关注系统思维、专业化和生产就绪。

我是 Douwe Kiela，[Contextual AI] 的首席执行官。今天我想聊聊生产环境中的 RAG 系统，特别是 RAG 智能体，分享我从 AI 研究和企业 AI 公司管理中学到的经验。

最新一代大型语言模型(LLMs)展示了惊人的推理能力。不过，在企业环境中发挥它们的真正价值，需要将这些能力应用到"正确的"企业数据上。在 AI 智能体的热潮中，我们必须牢记这句经典格言：

"Garbage in; garbage out（垃圾输入，垃圾输出）"

语言模型只有在正确的上下文中才能高效运行。

企业 AI 的机遇与挑战

企业 AI 带来巨大机遇——[McKenzie] 预测可为全球经济增加 4.4 万亿美元的价值。人人都想从中分一杯羹。但挫折感也很明显。许多 AI 副总裁面临着投资回报率(ROI)的压力。[Forbes] 研究显示，仅四分之一的企业真正从 AI 中获益。

AI 中的上下文悖论

为何存在这种困境？这反映了机器人学中的莫拉维克悖论：对人类简单的任务(如吸尘)对机器人来说很难，而复杂任务(如下棋)反而更容易。

同样，企业 AI 面临着"上下文悖论"。LLMs 在编码或解数学题等任务上表现出色，甚至超越人类。但它们在将信息放入正确"上下文"中时却遇到大麻烦。人类，尤其是专家，凭借多年经验和直觉，可以轻松做到这点。

这个悖论是提升投资回报率的关键。当前 AI 多通过通用助手专注于便利性，提供效率提升。但企业追求的是"差异化价值"和业务转型。实现这种更高价值需要更好地处理企业特定环境；随着价值需求增加，对上下文的要求也水涨船高。

正是这一认识促使我们两年前创立了 [Contextual AI]。以下是从大规模部署企业 RAG 系统中总结的经验，重点关注为财富 500 强公司打造稳健系统。

生产环境中 RAG 智能体的 10 条经验教训

1. 思考系统，不只是模型

语言模型很厉害，但它们通常只占完整系统的 20%，尤其在企业 AI 中，这往往涉及"检索增强生成(RAG)"。RAG 是我和团队最初在 [Facebook AI Research] 开创的，是让生成式 AI 与你的数据协同工作的标准方法。

人们常把焦点完全放在新的 LLM 上，忽视了真正解决问题的周边系统。一个放在优秀 RAG 管道中的普通模型，能胜过烂管道中的出色模型。"关注整个系统，模型只是其中一个组件。"

2. 专业化才能专精

企业专业知识是你最宝贵的资产。目标是解锁组织知识。通用助手无法比拟公司内部的深厚专业知识。"专业化"是有效捕捉这点的关键。

在 [Contextual AI]，我们称之为"专业化优于通用人工智能"。虽然通用人工智能(AGI)有其位置，但解决复杂的领域特定问题需要专业化才能取得更好结果。在 AGI 热潮中，这似乎违反直觉，但专业化让解决实际业务问题变得更容易。

3. 数据是你的护城河(大规模)

随着时间推移，一家公司由其数据定义，因为员工来来去去。这些数据代表公司的长期身份和竞争优势。一个常见误解是数据必须完全干净整洁才能被 AI 使用。真正的挑战和机会在于让 AI 能够在"大规模嘈杂数据"上高效工作。

做到这点能解锁差异化价值并创造竞争壁垒，因为你独特的数据定义了你的公司特色。

4. 为生产设计，不只为试点

残酷事实：搭建 RAG Demo 系统相对容易。一个框架和几个文档的演示通常能从小组获得好评。但向"生产"的跨越却是巨大的：

• 从几十个文档扩展到数百万个
• 支持数千名用户
• 处理众多不同用例
• 满足严格的安全合规要求

现有开源工具在这种规模下常常力不从心。试点与生产间的鸿沟很大。"从第一天起就为生产需求设计"，避免代价高昂的陷阱。

5. 完成比完美更重要

在生产部署中，"完成比完美更重要"。哪怕只是最小可行产品，也要尽早让真实用户试用你的 RAG 智能体。收集反馈并迭代，达到"够好"的状态。

等太久追求完美会让 Demo 到生产的跨越更加困难。基于真实用户反馈的迭代对成功部署企业 AI 至关重要。

6. 让工程团队专注于创造价值，而非繁琐任务

为实现速度和迭代，确保工程师专注于提供"业务价值和差异化"，而非繁琐任务。工程师容易陷入优化分块策略或完善提示——这些任务理想情况下应由稳健平台抽象出来。

让工程师集中精力做对竞争力真正重要的工作。

7. 让 AI 易用且易整合

在生产环境中部署生成式 AI 并不等同于确保它会被广泛采用。如果过度的风险控制措施使系统变得不实用，或者用户不了解如何有效利用它，这些系统往往会被闲置。

因此，"提高 AI 的易用性"至关重要。 这不仅仅是让 AI 能够处理企业数据那么简单，还包括"将其无缝整合到用户现有的工作流程中"。更紧密的工作流整合能显著提高成功采用的几率。

8. 设计“惊艳时刻”

推动使用需要粘性，通常由"哇时刻"触发——用户瞬间理解工具价值的那一刻。设计入职和初始用户体验，让这一刻快速到来。

比如在 [Qualcomm]，我们的系统支持全球数千名工程师，有位用户在一份被埋藏了 7 年的文档中找到答案，立刻解决了长期问题，感到无比惊喜。这些"小胜利"是推动采用的强大动力。

9. 关注可观察性，不只是准确性

准确性很重要，但正成为基本要求。实现 100% 通常不可能。企业越来越关注如何管理不可避免的不准确性(5-10% 的差距)。

超过最低准确性门槛后，重点转向通过"可观察性"管理不准确性。这需要稳健的评估方法和审计跟踪，尤其在受监管行业。RAG 系统中的"适当归因"(将答案链接到源文档)至关重要。实施后处理检查来验证声明并确保有据可依的回应。

10.要有雄心壮志

许多 AI 项目失败不是因为目标太高，而是"太低"。部署生成式 AI 用于琐碎任务(如基本 HR 查询)会产生微小的投资回报，通常导致资源浪费。

相反，"瞄准雄心勃勃的目标"，成功时提供实质性回报。我们正处在变革时代。AI 即将重塑社会。从事 AI 工作的人有机会推动有意义的变革。别满足于唾手可得的成果，要向更高处瞄准。

结论

上下文悖论仍是企业 AI 的关键挑战。通过采纳这些经验——思考系统、专业化、为生产设计、快速迭代、专注价值、确保易用性、创造"哇"时刻、重视可观察性，并敢于追求——你可以把这些挑战转变为重大机遇。