ai问答助手类产品策略与指标

推荐语

AI问答助手产品如何设计才能更精准高效？本文详解RAG技术落地的关键策略与评测体系。

核心内容：
1. 知识处理的核心环节：文档切分策略与表格处理技巧
2. 向量化检索的优化方法：语义匹配与关键词检索的平衡
3. 评测体系构建：从数据构成到指标监控的全流程方案

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

以下基于AI问答助手系统的核心环节、关键设计考量及评测体系构建方案，结合技术实现与产品化需求综合整理：

一、核心环节设计与重点考量

1. 知识切分策略（文档/表格）

• ∙

  文档切分

• ∙

  标题与标点切分：按章节标题、句号分句，保留上下文完整性（如法律条款需完整条款切分）

• ∙

  固定最大长度：限制片段长度（如512字符），避免信息过载，但需防止语义割裂（例：长描述被截断导致关键信息丢失）

• ∙

  混合策略：优先按标题切分，超长段落再按长度二次分割，平衡效率与语义完整性

• 重点风险：不恰当切分导致检索时无法定位核心信息，如医学指南被切碎后无法回答复合症状问题。

• ∙

  表格处理

• ∙

  匹配字段设置：定义关键列（如“产品ID”“价格”）作为检索锚点

  
  

• ∙

  整行召回：避免仅返回单元格，确保行列关系完整（例：电商订单需同时返回商品、数量、状态）

• 重点风险：字段匹配不全导致漏检（如用户查询“2024款手机价格”，但未将“型号”设为匹配字段）。

2. 知识向量化与检索

• ∙

  向量化技术

• ∙

  选用领域适配的嵌入模型（中文场景推荐m3e-base或ERNIE）

  
  

• ∙

  多模态数据需联合文本与图像向量（如商品图文问答）

  
  

  
  

• ∙

  检索策略

  
  

• ∙

  语义匹配解决表达多样性（如“如何退款” vs “退货流程”）；

• ∙

  关键词匹配保障术语精准（如药品名“阿司匹林”需精确命中）

• ∙ 语义+关键词混合检索

• ∙

  Query改写：

3. 生成与提示工程

• ∙

  Prompt设计原则

• ∙

  反幻觉控制：强制模型基于检索片段生成，添加校验步骤（例：“若上下文未提及，回答‘无相关信息’”）

• ∙

  结构化输出：要求分点回答、标注数据来源（如“根据《用户手册第3章》：…”）

• 重点风险：模型过度自信生成错误内容（电商场景中虚构产品参数）

  
  

  
  

二、评测体系构建

1. 评测集设计（训练集:测试集 = 7:3）

• ∙

  数据构成要求：

  数据类型	占比	说明
  高频问题	40%	覆盖80%用户查询（如客服FAQ）
  长尾复杂问题	30%	多条件组合、跨领域问题（例：“开通国际漫游后为何仍无法收发短信？”）
  对抗性样本	20%	模糊表述、矛盾问题（例：“如何退款？但我没下单”）
  新知识问题	10%	测试知识库更新能力（如政策变更后的社保计算）

• ∙

  标注内容：

  需包含三元组 (query, 知识片段, 理想答案)
  

  
  

  
  

2. 评测指标与监控

• ∙
  
  

  检索环节

  指标类型	指标	目标值	监控意义
  技术指标	知识库文档引用准确率（P）	≥0.90	召回片段是否相关
  	知识库文档召回率（R）	≥0.95	是否漏掉关键片段
  业务指标	引用点击率	/	用户是否认可片段价值（参考）
  Badcase	片段定位错误率	/	切分/表格策略缺陷

• ∙

  生成环节

  指标类型	指标	目标值	优化方向
  技术指标	回答正确率（BLEU≥0.3）	≥0.95	对比人工标准答案
  	召回率	≤0.95	反幻觉机制有效性
  业务指标	复制引用率	≥70%	答案是否被用户信任使用
  	用户留存率	月环比+5%	长期体验价值
  Badcase	未复制的case&用户点踩反馈	/	答案不完整或未解决需求

  
  

三、影响产品效果的关键因素

1. 1.

   知识库新鲜度

• ∙

  每周更新知识库，旧知识片段过期导致回答错误（如业务sop变更、产品信息未补充）

  
  

  
  

• ∙

  上下文丢失率需<3%（例：用户追问“上述方案的预算多少？”需关联前文）

  
  

  
  

• ∙

  跨领域术语冲突（如金融“杠杆” vs 物理“杠杆”）需实体对齐

四、效果优化方向

• ∙

  RAG性能提升：

  小模型+ RAG可使准确率提升27.9%（如Qwen2.5-14B）

  
  

  
  

• ∙

  思维链纠错：

  监控蒸馏模型中的错误累积（Type C错误），采用反射机制校验中间步骤

  
  

  
  

• ∙

  个性化生成：

  按用户身份调整回答复杂度（学生 vs 专家）