推荐语
天猫技术团队如何用AI革新测试流程？揭秘智能用例生成背后的差异化实践。
核心内容：
1. 电商行业测试痛点与AI解决方案设计思路
2. "需求规范化+Prompt工程+RAG知识库"三位一体技术方案
3. 针对5类业务场景的差异化适配与平台化落地实践
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
随着大模型的不断演进，测试行业基于AI也在做不同程度的探索，在Agent智能体生成方面，基本使用的是prompt+RAG的方式，构建特定业务的需求分析/测试用例生成/数据构造智能体等。下述是以用例生成为例的一些业界方案和效果：
对业界能力的分析，基本都是基于prompt+RAG做能力拓展，没有涉及对模型的微调。过程中存在着对需求解析，测试分析过程，知识库建设的差异化处理。基于对天猫技术业务的理解和发展趋势的判断，我们需要针对天猫技术不同行业特性，做用例生成差异化的处理，同时针对强依赖的输入产物（prd）做一定的规范化处理。
在瞬息万变的电商行业，业务迭代速度快，对产品质量要求日益提高。测试团队面临着以下挑战：
当然在测试用例编写阶段，也存在着如下痛点：
用例设计效率低：人工编写测试用例耗时耗力，难以覆盖所有场景，尤其是异常和资损场景。
需求理解偏差：不同测试人员对需求的理解可能存在差异，导致用例设计的不一致性。
知识沉淀不足：基线用例、踩坑点、业务背景等知识的有效沉淀和复用机制不完善。
人工成本高：大量重复性、模式化的用例编写工作占用了QA大量的工作时间
同时经分析，现有业务特性差异较大，主要划分成5类业务类型，分别为：营销解决方案，导购场域，交易结算，多部门协作，中后台，如何针对不同业务类型做用例生成的适配和应用，也是面临的难题之一。
为应对上述挑战，我们的核心目标是通过AI技术，实现测试用例的智能化生成，并构建一个符合行业特性的测试流。
对于QA来说，我们需要通过一系列手段来保障业务的质量，同时探索业务的天花板，这一系列手段包括：围绕业务迭代的需求交付，需求理解->风险评估->用例设计->用例执行->缺陷追踪->集成/回归->发版/上线->反馈跟踪。
其中从用例设计到最终的回归约占据了QA 70%的时间，在当下对于质量要求高，版本节奏快，人力成本缩减的前提下，急需借助大模型来辅助测试设计，建设相关的智能化工具。整体思路如下：
围绕AI用例生成的目标，制定了“需求规范化 + Prompt工程 + 知识库RAG + 平台化集成”的总体策略，并辅以Agent能力建设，提升日常知识库建设人效。
1.Prompt工程与流程优化：通过精细化的Prompt设计，结合上下文信息，引导LLM生成高质量的测试用例。搭建端到端的用例生成Flow，将AI能力集成到现有工作流中。
2.高质量知识库构建：系统性地沉淀业务背景、基线用例、特殊场景（踩坑点）、资损场景等，并结合RAG技术，提升AI生成用例的相关性和准确性。
3.需求规范化：推动PRD规范化，提供标准化模板，提升需求输入的质量，从而提高AI生成用例的稳定性和覆盖率。
4.AI Agent赋能：过程中迭代专门的AI Agent，用于知识库构建、PRD补全、知识库检查等，进一步降低人工成本，提升效率和质量。
5.平台化集成：将AI能力集成至用例管理平台，实现平台化操作。
整体流程如下：
2.2.1 Prompt工程与流程
为了降低不同人员需求理解，用例设计差异性，提升用例可读性和后期维护成本，当前prompt严格遵循该策略，包含：
1.基于前置功能用例和需求推导非功能用例，包含定义异常，资损等设计原则和具体案例，通过RAG和prompt的方式来增强用例设计的确定性。
2.针对较复杂需求，可以自主拆分成业务模块，针对单模块通过test copilot进行对话式生成，并可以通过对话进行用例的修改。
3.支持各行业灵活定制行业特性和行业示例。
4.搭建从需求输入到用例输出的端到端AI用例生成Flow，根据行业标签，路由至行业知识库/prompt/行业示例等。
2.2.2 高质量知识库构建
针对如何提升RAG召回的精确性，我们确定了知识库建设的标准，通过知识库的动态检索，提升用例的覆盖率和采纳率，整体思路如下：
RAG部分详细内容如下：
1.知识库范围：
a.测试用例：基线用例，特殊用例（踩坑点）等。
b.业务背景：领域术语、业务流程、用户故事等。
c.资损场景：触发条件、影响范围、测试重点等。
2.数据格式（结构化存储）：文本（纯文本，markdown，JSON格式），表格。
3.数据检索：包括分块策略，召回策略、索引方法。
4.知识库维护：数据清洗、去重，更新机制。
针对沉淀的内容，可通过业务域->功能模块->功能点进行拆分，利用关键词来召回最小单元的功能点，示例如下：
为了节省人工构建知识库的成本，还探索了知识库自动构建agent，可基于原始技术文档可以快速构建知识库，提取出业务术语，业务流程，核心功能点等。
对于当前切分不合理的知识库，通过agent进行重构，可有效提升知识库的切片效果。如下示例所示，原知识库单个功能描述被切分至多个无效片段——>而通过agent进行构建后，可对全文信息进行整合总结，单个片段内容更完整和结构化。
2.2.3 需求规范化
通过多轮需求测试，发现prd质量对用例生成的覆盖率影响较大，通过与PD合作，定义和推广标准化PRD模板，来进一步提升用例生成的稳定性。当前已在天猫APP多个业务域试点，并完成相关实践，通过标准化产出的prd测试结果如下：
需求规范化模板 （规范表达，可被计算处理） | 规范化需求示例 | AI生成用例 |
|
|
|
2.2.4 平台化集成
当前用例生成已集成至用例管理平台，提供可视化操作入口。支持Ai-Test和Test Copilot 两种形式。结合Test Copilot等工具，支持复杂需求模块化拆解与对话式用例生成。当前天猫技术质量也继续探索AI在数据构造、用例执行等更方面的应用，形成全流程自动化。
1. 采纳率：在偏向于C端表现部分（如导购、详情）表现较好，采纳率可以达到85%以上，但在B端（如资金、供应链）表现一般，采纳率普遍不到40%。
2. 实际提效：在导购场域、营销解决方案领域中，中小型需求的用例编写时间从2小时缩短至0.5小时（节省75%）。
目前在实践中主要问题还是集中在PRD质量不高；需求解析中对视觉稿，交互稿等无法支持，以及需求过于复杂的状态下，使用效果不佳。后续计划在AI能力深入，AI全流程自动化继续尝试。
在未来，能够实现AI智能自主运行，独立完成需求分析，用例生成，脚本构造和执行，上报需求缺陷，跟进质量闭环等流程。基于人工智能的理解，记忆，规划等，为QA角色带来新的转变。
我们需要从“体力劳动型”测试向“脑力劳动型”测试转型，将繁琐重复的工作交给AI，让QA聚焦于更具挑战性的领域：业务风险识别、测试策略制定、探索性测试以及用户体验深挖。未来在一定程度跳出覆盖率-成本-速度的不可能三角，实现更高的覆盖率，更快的速度和更低的成本。
粤ICP备14082021号
免费POC，
零成本试错
