我要投稿

AI机器人语料的收集和清洗

发布日期：2024-05-11 07:34:56 浏览次数： 2589

作者：智能客服研习社

微信搜一搜，关注“智能客服研习社”

1、语料的基本介绍

什么是语料

语料：在机器人中一般是指“知识标题”和“相似问”统称语料（在多轮对话中称为“意图名称”和“用户话术”）

2、语料的整理规范

知识标题和相似问整理规范

知识定位结构——知识标题，需要遵循一定的梳理逻辑：

将重点放在常见的用户问题上，在经过预处理的语料中，筛选出用户的真实提问来提炼知识标题；
意思相近的提问，如果可以用同一个答案回答，就放到同一个知识点的知识标题和相似标题中；
描述简洁，句意完整；
根据实际的用户问题颗粒度，把握知识的颗粒度；
举个例子：

类别	意义	知识标题标准	举例
What	名词解释、现象解释	名词+是什么+？现象+是什么意思+？	流量特惠包是什么？
Where	路径引导	名词+在哪里+？	话费在哪里充值？
Who	找人诉求	名词+是谁+？	我的亲情号码是谁？
When	时间、时间节点、持续时间	名词+需要多久+？名词+什么时候+动词+？	花费充值多久生效？
Why	现象类、原因类	名词+为什么+现象+？	话费充值了为什么还欠费？
Whether	判断类	名词+能不能/是不是+动词+？	我能通过微信充值话费吗？
How	操作类	名词+如何+动词+？现象+怎么办+？	如何修改个人信息
How much	多少钱	名词+价格是多少+？	流量特惠包是多少钱？
How many	数量类	名词+有哪些+？描述+多少个+？	我可以绑定多少个亲情号码？

3、语料的收集来源

知识和语料获取来源	荐句工具	已有知识库	通过类目或意图穷举	工单	对话记录
获取内容	输入用户话术或相似问法，机器人自动提供一批相似问	知识库中客户的各种问法，对应到相应意图	通过意图，人工模拟客户各种相似问法，每个意图模拟不低于20条相似问	用户提问记录和对应服务答复内容	提取聊天记录

4、语料的清洗方法

语料清洗的目的：将所有搜集到的语料进行清洗，语料清洗的目的是将冗长、不符合规范的相似问进行规范化，一边提升识别命中。

一条问题中包含多个问句，如问句表达的含义一致，应合并成一条知识标题。反之，应拆分成多条知识标题。

Case1

错误写法：我曾经开通过XXX业务，现在想取消可以吗？
原因分析：合并为一条知识标题（合）
正确写法：
1、XXX业务的取消方法

Case2

错误写法：开通XXX业务有什么方法？收费怎样的？
原因分析：拆分为两条知识标题（拆）
正确写法：
1、XXX业务的开通方法
2、XXX业务的资费标准

知识标题中主体部分的信息需要完整，如业务名称。并去掉五十级意义的前缀词和语气词。

Case1

错误写法：我想问一下，怎么办理信用卡，谢谢！
原因分析：去掉无实际意义前后缀语气词。
正确写法：
1、怎么办理信用卡

Case2

错误写法：临时额度调整
原因分析：在实际业务中，很多不同类型的银行卡都有临时额度调整，如A卡临时额度调整，B卡临时额度调整。因此需要特别强调“A卡”。
正确写法：
1、A卡临时额度调整

5、注意事项

一、语料收集数量

1、建议每个FAQ的标准问有不少于20条符合规范的相似问

2、建议每个多轮对话意图拥有20个以上表述，以及适当配置一些LGF规则

二、语料清洗注意事项

1、语料、相似问不可过长（不建议超过30个字）

2、标题不规范（含有空格、符号）

3、同一标题不能包含多个含义、语义

4、标题语义不完整，需要进行完善

5、语料、标题中剔除含有无意义词语、语气词

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2024-07-10

科研助力神器：Scholar GPT，百倍提升你的研究效率！

2024-07-09

Doc2X：一款功能超级强大的文档解析与转换工具

2024-07-06

我对多智能体协作过程自动演化架构设计

2024-07-06

可穿戴AI，底层逻辑的变化

2024-07-06

一文彻底搞懂Transformer - Word Embedding（词嵌入）

2024-07-06

AI动态 | 腾讯元宝AI搜索能力升级：深度搜索模式上线

2024-07-06

智能手表 + AI ，都已经这么智能了？？

2024-07-06

死磕10万卡GPU算力集群，腾讯星脉网络2.0有什么秘密武器？

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

DeepSeek V3.1 Base / Instruct 发布

2025-08-20

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

有点东西！Qwen开源会写中文的生图模型Qwen-Image

2025-08-05

新版 GPT-5 刚刚发布，最卷 AI 连肝代码 7 小时，编程工具大洗牌开始了

2025-09-16

DeepSeek-V3.1-Base来了！MoE架构+128K上下文，性能再进化

2025-08-20

实测 Sora 2 ：AI视频的“ChatGPT时刻”来了？八大场景教你解锁各种玩法（附邀请码）

2025-10-02

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

大家都在问

树莓派这种“玩具级”设备，真能跑大模型吗？

2025-10-31

大模型的Funcation Calling是什么？

2025-10-29

n8n如何调用最近爆火的deepseek OCR？

2025-10-29

向量搜索已过时，混合搜索都有三大流派了！你看好哪个流派？

2025-10-29

BCG最新报告：企业如何跨越AI价值鸿沟，进入复利增长？

2025-10-28

如何用飞书多维表格快速搭建一个可落地应用？

2025-10-28

小红书入局AI智能体开源DeepAgent，在计划什么更新？

2025-10-28

免费又好用的AI录音笔都出来了，这下哪还有理由不学习？

2025-10-27

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部