从"机械应答"到"服务伙伴"：得物高可控智能客服的 Agent 工程实践｜AICon 演讲整理

• 听不懂人话、自作聪明：无法准确理解用户意图，频繁答非所问。
  

• 成本高、排队严重：高并发场景下人力无法覆盖。
  

• 问题解决能力弱：只能处理简单 FAQ，复杂多轮问题无能为力。

传统结构存在上限：意图分类 + NER + 对话管理 + FAQ 召回 + 重排的流水线架构，无法处理多步骤任务，上下文衔接不畅。

SOP 人工维护成本高：场景问法无法穷举。多模型运维成本高：多套小模型分头部署，“牵一发而动全身”，运维成本极高。会话拟人度 / 流畅度不佳：出话单一，无法复刻优秀人工的决策和话术能。

场景复杂指令优化成本高：场景复杂，知识流程繁琐，长尾 case 的 PE 优化成本高。长 Context 多轮能力不足：结合用户多样性需求和长历史上下文的多轮决策 / 协商挑战较大。对齐人工拟人化能力不足：人工回复多样性高，昵称 / 话术 / 表情 / 模态运用灵活，需要 “人工辅助 Agent”。多轮半双工下消息控制：推理时长较长，半双工环境下，消息打断 / 上下文话题切换，控制难度较大。

第一阶段：Single-Agent（单 Prompt）

基于 Qwen 的 Single-Agent 架构，问题在于：

• Prompt 过长，模型指令遵循能力有限。

• 串行 Pipeline 无法实现 Agent 多轮 ReAct。

  
  

第二阶段：Multi-Agent（渐进式披露）

采用 AutoGen 的 Multi-Agent 架构，引入：

• 总控 Agent：负责任务调度与流程管控。

• 出话 Agent：负责生成最终回复话术。

• 评估器 Agent：对输出质量进行实时评估。

• 润色 Agent：提升回复的自然度和拟人感。

通过 `SelectorGroupChat` 模式实现动态调度，解决率提升明显。

为解决跨场景复用问题，进一步演进至 Harness 架构，核心能力包括：

• 跨会话 Memory：支持用户历史上下文记忆。

• 上下文压缩与轨迹压缩：有效管理长对话。

• 总控 Agent 管理：提高回复可控性。

• 数据飞轮驱动模型持续优化。

• Skill 自动化生成（进行中）。

人工 Prompt Engineering 存在明显痛点：时间成本高。多个 case 引发 Prompt 冲突与歧义。Token 成本和指令遵循能力有限。

为此，我们构建了 PE 自动化流水线：对比数据抽取：LLM 抽取转人工 case 中 Agent 回复（Bad）和人工回复（Good）。PE 修改建议：LLM 分析 Prompt 修改建议。人工 Review：人工标注 check 是否可行。离线跑测：合并修改建议，跑测同批数据。上线实验：积累数据，持续优化。

效果验证：

通过 DPO 模型训练飞轮，利用 “LLM-as-a-Judge” 搜集回流数据并重新训练：

• 能否回复判别模型。

• 回复正确性模型。

• 是否拟人判别模型。

• 构造 chosen 和 reject 样本。

• 训练润色模型。

RL 训练框架分三大模块：

数据基建

• 线上反馈数据采集，策略埋点构造 Multi-turn RL 训练数据。

• 专家模型生成决策理由，进行 CoT-RL 训练。

• MCP Server 部署实时 Tools 调用。

模型训练

• Cold-start SFT 预热。

• 可验证奖励：Rule-Based-Reward。

• 生成式奖励：Model-Based-Reward。

• GRPO 训练。

评测体系

• LLM-as-a-Judge。

• 人工评测。

• 用户模拟器一致性评测。

对抗 Reward Hacking

• 优化 Reward。

• 解决数据有偏问题。

• 增加思考过程 - CoT 训练。

训练效果对比

消融实验

• 不同 epoch 对比。

• 不同 cold-start sft 底座对比。

• 不同 lr 对比。

业务干扰度消融实验

• A 业务。

• B 业务。

• A 业务 + B 业务。

RL 训练减少灾难性遗忘

测试标准：C-Eval、CMMLU

规避方法：

• 降低学习率（全量训练 ≤ 5e-5）。

• 通过 eval-step 实时监控通用基准指标。

• 限制训练 2~4 epoch。

• 数据比例控制：模型自推理 VS 模型依赖 Tool 调用 = 1:1。

建立了完整的百分制测评体系：

三种训练模式协同工作：CoT-RL 策略蒸馏：蒸馏优秀客服的决策逻辑；DPO 话术蒸馏：对齐对话语气、减少重复、规范表情包和称谓使用；表情模块：表情分类 + 语境分析，精细化控制表情使用时机。

表情分类体系：开场欢迎 / 积极开心 / 思考疑惑 / 抱歉安抚 / 提醒强调 / 期待等待 / 完成确认 / 正在努力 / 物流配送 / 价格优惠 / 对接售后 / 结束感谢。

模型评分接近 Top5% 优秀人工水平。

智能客服场景特殊性：用户可随时发送消息（全双工），但 Agent 回复期间不应被打断（半双工）；用户→Agent：全双工，可打断；Agent→用户：半双工，不可打断。

为实现精准的消息合并/切分判断，训练专用分类模型：

• 数据采集：拉取线上用户连续消息进行标注。

• 数据增强：负样本 LLM 扩写。

• 模型训练：Qwen3-4B 分类训练。

本次分享围绕以下核心技术展开：客服 Agent 挑战与架构设计（Single-Agent→Multi-Agent→Harness）；高可控性数据飞轮（PE 自动化 + DPO 训练）；RL 策略训练和人工经验对齐；多轮半双工消息流控制。