1. 引言

当前，人工智能（AI）技术正处于高速发展阶段，互联网从业者对此感受尤为深刻。众多一线大厂纷纷投身于AI浪潮，推出了各类基于AI的工具。特别是在春节期间，DeepSeek引发广泛关注并迅速出圈后，将AI热潮更是推到了白热化程度。 在这样的背景之下，我们有赞门店技术团队也开始探索各种基于AI的提效手段，本文就将「技术答疑」这个小点作为切入点，展开来介绍下目前我们基于飞书aily平台搭建的智能助手； 耐心阅读本文，你将了解到以下内容：

1. 为什么我们选择aily来搭建门店智能助手；
2. 我们是如何利用aily智能助手来提效的，给我们带来多大的效益；
3. 在搭建过程中我们对于aily智能助手的思考以及碰到的问题总结；

2. 为什么选择aily

saas系统本身业务就会非常复杂，标品功能、定制功能甚至是白名单功能非常多，而且随着我们服务的商家越来越多的情况下，我们每天都会收到大量来自商家、渠道等等业务咨询或者问题反馈，而在这背后，有以下几个点一直困扰着我们：

1. 许多反馈的问题属于基础的流程配置或简单咨询，占用了大量的人力和时间资源。
2. 反馈问题数量过多，技术研发和客服团队难以在短时间内处理完毕，容易导致紧急问题被遗漏，影响客户体验和业务进展。
3. 不同商家存在较多的重复性或相关性问题，均需人工逐一检查，效率低下，难以实现快速响应和高效解决。
4. 文档维护分散，不利于统一管理和更新，且答疑过程高度依赖个人经验知识，无法有效将个人经验知识显性沉淀，不利于团队整体知识的沉淀和共享。

为解决上述问题，提高问题答疑的处理效率，我们引入了 Aily 智能助手。Aily 拥有以下关键能力，能够精准契合我们的业务痛点并带来显著价值：

1. ?AI智能回答 ，提高答疑效率：Aily 能够基于已有的知识库内容以及AI大模型，快速、准确地回答商家反馈的问题或咨询，无论是基础流程配置还是常见业务咨询，都能在第一时间给出专业解答，有效减少人工处理时间，显著提高问题处理效率，让提问者可以获得更及时、更优质的响应。
2. ?持续学习，统一管理和完善知识库：Aily 具备持续学习的能力，能够不断学习新的知识内容，随着业务的发展和知识的更新，及时调整和优化自身知识库，可以确保始终为提问者提供最准确的信息，满足不断变化的业务需求。
3. ⚙️深度集成，可以和有赞内部系统深度打通：Aily 还能够与企业系统深度集成，打破信息孤岛，实现数据和信息的无缝流转。它能够直接从内部系统中获取所需数据，同时也能将处理结果反馈至内部系统，便于后续跟踪和管理，提升有赞门店内部业务流转和客户服务的整体效率。

因此，我们借助 Aily 的强大能力，搭建了有赞门店业务智能助手（后续统称门店智能助手） ，致力于优化门店的业务答疑流程，提升答疑效率以及客户满意度。

3. 门店智能助手的业务流程以及效果

3.1 门店智能助手的业务流程图

门店智能助手的整体业务处理流程较为简单：系统实时监听飞书群聊消息，门店智能助手借助Aily平台的RAG+LLM能力，为用户提供智能答疑服务。若用户针对问题答案不满意，门店智能助手还提供了其他的操作按钮，以便用户进行下一步操作，如提交问题或提出新需求。

具体流程详见下方流程图：

3.2 门店智能助手与内部系统的深度集成

以上流程可以与我们内部的系统进行深度集成。基于我们现有内部系统的能力底座，加持智能助手的AI能力，将整个答疑、问题、需求创建以及跟进形成一个完整的闭环，如下图所示：

3.3 门店智能助手的使用效果

门店智能助手可以显著帮助研发或者技术支持同学提高处理商家咨询和提问的效率，当前拥有的能力如下：

1. 基于飞书知识库以及集成公司内部帮助中心的答疑功能；
2. 支持话题创建人一键创建jira或者需求；
3. 支持紧急问题一键创建jira并拉群紧急处理；
4. 支持话题内容的总结，总结内容会自动同步到助手的知识库中，持续更新学习新内容；

上线不到2个月：

1. 近一个月对话数1000+（相当于回答了1000+的问题），其中话题内容的答疑回复：提交问题的比例约为2:1，基本上大概有2/3的话题内容可以被智能助手答疑前置处理过滤掉，极大提高效率；
2. 基于智能助手总结的知识内容40+，不断完善知识库内容，提供更加准确的答疑能力
3. 基于智能助手创建的咨询或者问题300+，紧急问题拉群处理10+，显著提高了对反馈问题的处理效率；
4. 基于已有门店智能助手进行复制给其他业务使用，搭建耗时1人日左右，可复制性高；

4. 门店智能助手搭建过程&使用技巧

4.1 分阶段搭建门店智能助手

在搭建门店智能助手的过程中，我们遇到了诸多挑战，这促使我们深刻认识到，尽管AI技术潜力巨大，但其实际效果高度依赖于使用方式。例如，不同的大模型在性能和效果上存在显著差异，而且精心设计的提示词（prompt）更是发挥其效能的关键因素。因此，虽然AI能够轻松实现基本的答疑功能，但要达到理想的效果并非易事。这需要我们投入大量时间，持续进行调整与优化，才能逐步实现令人满意的效果。

从整体来看，我们在搭建门店智能助手的过程可以大致分为以下三个阶段：

4.1.1 阶段一，构建基础答疑能力

在第一阶段，为了尽快上线答疑助手，我们完全采用了Aily助手提供的知识问答流程。当知识问答无法提供有效答案时，便会调用备用的指定技能。该技能相对简单，仅利用大模型判断问题性质，确定其是线上问题还是新需求，并据此自动创建Jira问题或需求。这一过程完全依赖于知识库内容以及大模型自身的判断能力。然而，上线后我们发现，尽管答疑助手具备一定的答疑能力，但仍有大量问题被自动创建为jira问题或需求，且存在诸多问题：

1. 有些问题实际上并非问题，但AI错误判断为问题，从而自动创建了jira问题。
2. AI无法准确区分问题与需求，经常将问题误判为需求创建，或将需求误判为问题创建。

我们最初的期望是借助门店智能助手，在绝大多数场景下替代技术人员处理反馈问题，以提高工作效率。但实际情况却适得其反，智能助手反而增加了我们的工作量。 鉴于此，我们对整体流程进行了优化，开启了第二阶段的工作。

4.1.2 阶段二，重构答疑流程并完成知识整合

在第二阶段，我们认识到当前的 AI 技术还无法完全替代人工处理问题，但是可以通过与技术人员协作，充分发挥各自优势，从而整体提高问题处理效率。基于这一理念，我们对门店智能助手的相关流程和机制进行了以下的优化与调整：

1. 重构答疑流程：门店智能助手不再单纯依赖 Aily 的知识问答功能，而是采用工作流模式，通过技能编排构建完整的答疑工作流，并将知识问答功能有机嵌入其中。这种模式能够更好地整合资源，确保问题处理的连贯性和系统性。
2. 赋予提交人更多自主权：在飞书答疑消息卡片中设置进一步的处理按钮比如问题提交或者需求创建等按钮，当智能助手给出的答案无法满足提交人需求时，提交人可直接通过该按钮进一步提交问题，以便技术人员跟进处理。这样一来不但尊重了提交人的意见和需求，确保问题能够得到更精准、更有效的解决，同时也减轻了因智能助手误判而产生的额外工作量。
3. 完善知识库内容：我们发现添加到 Aily 智能助手中的知识文档并不是很完善，因此与公司内部的AI团队积极沟通协作，借助其底层技术能力，将对外发布的帮助中心内容进行向量化处理，并将其纳入公司内部知识库中。在门店智能助手的答疑工作流中，智能助手会优先调用查询内部帮助中心知识库，获取更全面、更准确的知识信息，从而提高问题答疑的准确性和可靠性。

在阶段二基本完成了现阶段答疑的核心流程，使用工作流完全替代了知识问答；

4.1.3 阶段三，效果调优支持总结自学习

在第二阶段运行过程中，我们仍然发现了一些亟待解决的问题：知识库内容部分存在过期现象，且部分隐性知识无法被有效涵盖，导致门店智能助手无法准确答疑；另外，有些紧急问题也未能得到及时处理。针对这些问题，我们持续进行了以下优化：

1. 支持话题内容总结 ：对相关话题内容进行总结，并将总结内容自动添加至多维表格，随后将该多维表格同步至 Aily 知识库。通过这种方式，实现近乎实时的知识内容更新（3小时间隔同步），有效沉淀隐性知识，从而显著提升智能助手的答疑能力。
2. 紧急问题一键创建并拉群 ：为了快速支持紧急问题，我们新增了紧急问题一键创建功能，并同步拉起飞书群组。同时为防止该功能被滥用，我们进行了严格的权限控制，仅允许技术支持人员或业务负责人使用此功能拉群。一旦拉群，系统将自动邀请对应的技术值班人员加入群组，确保紧急问题能够得到快速响应和处理，有效提升紧急问题的处理速度。
3. 成本控制，调整门店智能助手中使用的大模型 ：我们将门店智能助手中的大模型全面切换为公司自主封装的大模型接口。这一调整不仅能够更好地适配公司业务需求，还能有效降低整体使用成本，提高资源利用效率，为智能助手的持续优化和升级提供有力支持。

综合上述三个阶段，我们持续优化答疑助手的流程，逐步提升其答疑能力，同时简化并优化后续流程，提高整体效率，最终实现了当前的良好效果。

4.2 一些使用技巧的分享

在门店智能搭建助手的使用过程中，我们总结了一些常见问题及相应的解决方法，同时也积累了一些实用的小技巧，现在将相关内容整理如下，供大家参考。

4.2.1 编写话题总结技能，支持话题内容总结完善知识库

我们经常会遇到知识库内容更新不及时或者部分隐性的经验与知识未被有效沉淀在知识库文档中的情况，从而导致门店智能助手无法回答该问题，但是该问题有其他同学在话题下添加了有效回复，这个时候我们可以通过我们的总结技能，将话题内容总结形成问答对沉淀在多维表格中，然后将该多维表格添加到aily的知识库中，这样我们的门店智能助手就有了持续学习的能力。

总结技能的核心处理逻辑：

1. 监听话题消息内容并判断关键词：当检测到消息内容中包含“总结”这一关键词时，触发话题总结技能。
2. 遍历话题消息：启动话题总结技能后，门店智能助手将自动遍历该话题下所有已发布的消息。
3. 提取问答对：从每条消息中提取问答内容，并使用大模型进行总结与整合，生成简洁明了的总结内容，形成问答对数据结构，便于后续存储与查询。
4. 添加至多维表格：将总结后的问答对数据添加到预先准备好的多维表格中。

数据存储与同步：

1. 同步至知识库：将该多维表格添加同步至门店智能助手的知识库中。
2. 自动增量更新：根据 Aily 平台的特性，系统会每隔 3 小时自动对知识库中的多维表格内容进行一次增量更新。这一机制确保了知识库内容的时效性，使智能助手能够及时获取最新的知识信息，从而更好地应对商家的咨询需求。

通过上述流程，我们能够实现对话题内容的高效总结与知识沉淀，进一步提升智能助手的知识储备与答疑效率，为商家提供更优质的服务体验。

4.2.2 合理拆分技能编排的粒度，提高技能的复用性以及可维护性

技能编排本质上是一种低代码的流程编排工具，其核心价值在于通过可视化界面和简单的配置方式，实现复杂业务流程的快速构建与部署。然而，从技术实现的角度来看，我们完全可以借鉴传统编程中的代码编写思维来优化技能编排。通过抽象化与模块化将具有通用的流程编排封装成公共的技能，从而达到提高技能编排的复用性以及可维护性。

案例场景：比如我需要获取飞书文档信息，但是文档都需要token才能访问，这个时候可以编写一个根据url生成token的技能编排方法，这样我可以在其他流程里直接复用该技能而不需要每次都去写；

我们将整个答疑助手的流程抽象出多个可复用的技能，然后在一个主流程中进行调用，如下图所示，可以看到我们主流程逻辑非常简单，因为大部分都做了技能的封装，这样可维护性以及复用能力也比较高，如下图所示，我们封装了不同的可复用的技能：

• 封装了token获取的方法；
• 封装了各种不同的消息卡片技能；
• 封装了消息总结的技能；
• …

4.2.3 降低AI幻觉，提高问题回答准确性

AI幻觉经常会出现，会给你生成一些看似正确但是实际上并不正确的内容，这大部分是因为知识内容模糊不够明确而导致的。

我们可以通过以下几个方面去优化，尽量减少大模型出现幻觉的情况：

1. 优化prompt提示词，明确约束条件：在提示词中加入明确的约束条件，例如「输出时不能做任何衍生、扩展或缩减」，以限制 AI 的自由发挥，使其严格基于已知信息生成回答，避免无端推测。
2. 调整大模型参数，降低温度参数（Temperature）：将大模型的温度参数设置在 0.3～0.5 之间。温度参数较低时，模型生成的内容更倾向于确定性和一致性，减少随机性带来的不确定性，从而降低幻觉出现的概率。
3. 完善知识库，添加更准确的知识内容，比如：1） 在知识库中设置标准问答对，为大模型提供清晰、准确的问题与答案示例。这有助于模型更好地理解问题的意图和结构，从而生成更准确的回答。2）添加术语库内容，主要包含有赞内部的专业术语和产品术语知识这有助于大模型更准确地理解特定领域的概念和表达，提高回答的专业性和准确性。3） 引入满意度反馈机制，允许提问者对问题答案进行评价和反馈。这不仅有助于我们及时发现和修正知识库中的不准确内容，还能根据反馈持续优化知识库，提升整体回答质量。
4. 增加答案引用与声明：1） 在消息回复的底部增加答案的引用来源，明确指出答案基于哪些知识库内容或数据生成，给提问者提供参考依据，增加答案的可信度；2） 同时在尾处添加声明「本答案由 AI 智能生成，仅供参考」类似的说明，提醒提问者 AI 答案可能存在局限性，需要结合实际情况进行判断。

优化前，大模型给出了一个不存在的功能：优化后，大模型正确识别出该功能不支持：

4.2.4 大模型调用超时问题及解决方案

最初，在技能编排过程中所有涉及到大模型的节点，我们都是一直使用gpt-4o去处理，包括图片解析、提取字段、意图识别等，后续智能助手活跃程度提高后，在执行过程中每天都会频繁出现调用超时或者限流的情况，和飞书的技术支持沟通后，因为调用的是国外模型，由于模型服务不在国内，可能会存在超时的原因，暂时无法避免，他们给出的建议是使用国内的豆包或者deepseek模型超时情况会好一些，实际切换模型之后确实很大程度减少超时的情况，下面是结合个人经验给出的模型使用建议（仅供参考，并不普适所有场景）；

• 如果涉及到图片解析可以使用gpt-4o；
• 如果涉及到问题总结、意图识别或者推理可以使用deepseek-v3；
• 如果涉及到字段提取推荐可以使用doubao大模型

另外，还可以检查下流程编排中是否可以有优化的地方，减少大模型调用的节点，这样也可以提高整个流程的稳定性；

4.2.5 优化上下文长度，提高大模型回答准确性

大模型的上下文长度有限制，超出上下文长度之后，可能会导致忘记前面的信息或者没有按照你后面要求的prompt来回答问题，可以优化prompt内容减少prompt中参数的注入，这样可以减少上下文长度，提高回答的准确性；

案例场景：在下面的案例中，${var1}和${var1}分别是从知识库和帮助中心查到的内容，其长度较长，修改前prompt中大量注入${var1}和${var1}参数，导致实际调用大模型的时候prompt长度超长，最后大模型给出的答案答非所问，优化prompt之后给出了正确的答案；

优化前prompt长度超出1w+，门店智能助手给出了错误的答案：优化后prompt长度减少至3k+，且门店智能助手给出了正确的答案：另外，也可以通过模型这里的参数进行调整模型的最大token数，提高上下文长度限制；

4.2.6 技能编排不支持回滚，copy技能做好备份

技能编排修改之后不支持历史版本的回滚，也不知道具体的改动内容，所以建议如果修改技能编排，可以先复制当前的技能进行修改调试，调试成功后切换为新的技能，这样既不影响线上运行的助手，发布之后如果遇到问题也可以及时回切到老版本的技能；

4.2.7 善用任务评测功能，发布前验证

大模型回答的问题都是概率性的，它受prompt提示、大模型选型等各种因素的影响，可能针对同一个问题，修改了prompt或者大模型都有可能得到不同的答案，这个时候就需要用到评测功能，来check你修改了大模型之后是否还能得到满意的答案；

案例场景：当你修改完一系列技能编排、prompt提示以及大模型调整之后，需要针对助手进行场景验证，可以通过aily助手的「评测」功能导入一些常用的测试集批量验证，执行成功会有一份报告进行评估，评估完全通过之后才可以发布上线。就像你写完代码写单测或者测试一样，可以保证本次发布的功能正确无误；

5. 总结以及展望

在搭建aily智能答疑助手的过程中，我们深刻体会到：真正的智能化转型不是简单的工具替代，而是人机协同的能力跃迁。通过飞书Aily智能助手的深度应用，我们实现了从单一答疑场景到全方位的智能化升级。

除了本文所提到的智能助手答疑能力之外，我们还尝试了其它方面的实践和落地，都获得了不错的效果，比如：

1. Al代码审查实践：从构想到快速落地
2. 基于aily助手的线上日志告警自动分析

此外，基于aily助手的AI+低代码平台能力，我们还可以快速的搭建一个AI应用场景，让我们的想法能够快速的落地实现跑起来，这无疑加速了我们的创新以及迭代能力。

AI的价值不在于替代人类，而在于释放工程师的创造力。当Aily处理了80%的常规问题后，我们可以将精力投入更加具有创造性以及更加重要的工作中，这或许就是技术进化的终极意义——让我们回归思考的本质，去解决真正重要的问题！