粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
了解停用词表的重要性及在RAG系统中的应用，提升文本处理效率和模型性能。 核心内容： 1. 停用词表的定义和作用 2. 停用词表在不同领域和语言中的差异 3. RAG系统中移除停用词的好处及中文停用词资源分享
停用词表在英文中叫：Stop Words List，它是一个包含常见、但通常对文本分析或自然语言处理任务 不重要的词汇 的列表。停用词表一般在信息检索、文本分类、情感分析等场景被使用。
因为某些词汇其高频出现在表达具体意义时作用有限，因此被称为“停用词”。在处理文本数据时，通常会将这些停用词从文本中移除，以减少数据的稀疏性，提高处理效率，并可能提升后续分析或模型的性能。
停用词出了一些常用的标点符号，通常包括但不限于以下几类：
介词：如 “的”、“在”、“和”、“以”等。
连词：如 “而且”、“但是”、“因为”等。
助词：如 “了”、“着”、“过”等。
语气词：如 “啊”、“呢”、“吧”等。
在某些上下文中，一些非常常见的实词，如“人们”、“时间”等，也可能被视为停用词，特别是当它们对特定分析任务 没有贡献 时。
使用停用词表时，需要注意以下几点：
不同领域的停用词可能有所不同，例如，在医学文本中，“患者”可能是一个重要词汇，而在一般文本中则可能被视为停用词。
不同语言的停用词表会有显著差异，因为每种语言都有其独特的词汇和语法结构。
停用词表不是静态的，可能需要根据具体任务和数据集进行动态调整。
目前在一些RAG系统中的文本预处理阶段，通过移除停用词，可以简化文本数据，使其更加专注于表达核心意义的词汇，从而有助于提升后续分析或模型的准确性和效率。
另外，中文常用的停用词已经有大佬整理好了，大家可以直接拿去参考哈，修修改改，基本上就可以用来了。
https://github.com/goto456/stopwords
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
聊聊AI智能体框架MetaGPT下的RAG实践
2025-04-30
如何用大模型+RAG给宠物做一个AI健康助手（干货分享）？
2025-04-30
HiRAG:基于层级知识索引和检索的高精度RAG
2025-04-29
教程|通义Qwen 3 +Milvus，混合推理模型才是优化RAG成本的最佳范式
2025-04-29
RAG开发框架LangChain与LlamaIndex对比解析：谁更适合你的AI应用？
2025-04-29
RAG性能暴增20%！清华等推出“以笔记为中心”的深度检索增强生成框架，复杂问答效果飙升
2025-04-29
超神了，ChatWiki 支持GraphRAG，让 AI 具备垂直深度推理能力！
2025-04-29
AI 产品思维：我如何把一个 AI 应用从基础 RAG 升级到 multi-agent 架构
2024-10-27
2024-09-04
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-04-30
2025-04-29
2025-04-29
2025-04-26
2025-04-25
2025-04-22
2025-04-22
2025-04-20
回到顶部