Shopify分享了他们做Agent的万字踩坑经验

最近，Shopify 分享了他们构建生产级 AI 助手 Sidekick 的万字长文，信息量爆炸。

很值得一看。

最早他们类似 Anthropic 总结的的 Agentic loop 开始，让大模型去完成ReAct的循环。

初期确实能回答一些筛选类的请求，可以自动的查询数据，筛选数据。

很快，他们遇到了第一个问题。工具拓展。

工具数量的增长和系统的可维护性之间存在一个恐怖的临界点：

• 0-20 个工具：岁月静好，边界清晰，行为稳定。
• 20-50 个工具：边界开始模糊，工具之间的组合开始出现意想不到的化学反应。
• 50+ 个工具：恭喜你，抵达地狱。同一个任务有N种实现方式，系统行为变得极难推理。

这个问题，他们用 Death by a Thousand Instructions 来形容。系统 prompt 被各种特例、互相冲突的指南、各种边缘情况的处理逻辑填满，变得臃肿、缓慢，几乎无法维护。

为了解决这个难题，他们搞出了一个新的词，叫：Just-in-Time (JIT) 指令。

这个思路的核心就是：别再把所有指令都塞进系统 prompt 里！只在需要的时候，把相关的指令和工具数据一起返回给 LLM。

新瓶装老酒~

这种做法的好处很明显：

• 指令只在相关时出现，让核心的系统 prompt 专注于最基本的 Agent 行为。
• 缓存效率：可以动态调整指令，而不会破坏 LLM 的 prompt 缓存。
• 模块化：可以根据测试、模型版本或页面上下文，提供不同的指令。

到下一个环节了，评估是Agent系统最大的挑战。

传统的传统的软件测试方法，似乎没法很好的处理LLM输出的概率性问题以及多步推理时候的复杂性。

很多人还在用 Vibe test，或者让 LLM 随便打个分。

这种方法完全的不靠谱，评估需要有原则且统计上严谨，否则就是在自我安慰。

他们建立了一套严谨的、统计上可靠的评估体系。

整个流程是这样的：

• 直接从生产环境中采样真实的商家对话，构建 Ground Truth Sets (GTX)。
• 找来至少三位产品专家，对这些对话进行多维度标注，并用统计工具来衡量人类专家之间的共识度。这个共识度就是 LLM 法官能达到的理论上限。

• 通过反复迭代 prompt，训练专门的 LLM 法官，让它对 Agent 的行为进行打分。训练的目标，就是让法官的打分结果与人类专家的打分结果在统计上高度相关。
• 当 LLM 法官与人类的评分相关性足够高时，他们会玩一个图灵测试：随机用一个法官的评分替换掉一个人类专家的评分，如果很难分辨出哪个是法官给出的，那就说明这个 LLM 法官是值得信赖的。

通过这套体系，他们的 LLM 法官从最初几乎是随机乱猜（卡帕系数 0.02），提升到了接近人类专家的水平（0.61 vs 人类基准 0.69）。

这种效果其实也不太靠谱，毕竟现在大模型的推理框架几乎都不具备批推理一致性，每次变来变去，效果会在一个区间波动。

他们甚至还做了一个模拟器重放真实对话，可以让大模型从多个候选系统中，选择最好的一个。

最后，他们发现，即使评估体系在完善。

模型依然可能会钻空子。

模型找到了各种清奇的角度来骗过奖励系统：

• 遇到困难任务，模型不尝试解决，而是直接解释为什么它做不了。
• 当被要求筛选出状态为启用的客户时，模型不使用正确的 customer_account_status = 'ENABLED'，而是投机取巧地创建了一个 customer_tags CONTAINS 'enabled' 的过滤条件。
• 幻觉出不存在的 ID 或使用错误的枚举值。

解决这些行为是一个持续对抗的过程，需要不断地迭代LLM 法官，让它们能识别出这些新的作弊模式。

最后

不要迷信多 Agent， 一个设计良好的单 Agent 系统远比你想象的更强大。

这个是他们主要传达的理念。

构建生产级的 Agentic 系统，远不止是把 LLM 和一堆工具粘在一起。

它需要仔细琢磨架构、严谨的评估方法论，以及对系统潜在失败模式的持续预防。