我要投稿

RAG 中你需要知道的 5 种分块技术

发布日期：2024-09-29 18:53:14 浏览次数： 2368

作者：NLP轻松谈

微信搜一搜，关注“NLP轻松谈”

分块在 RAG 应用中的重要性。对于提高 LLM 性能至关重要，能使 RAG 应用更智能、更快速、更高效。

固定大小分块

方法：将文本分割成固定大小的块，不考虑内容的自然断点或结构。
优点：简单、成本效益高。
缺点：缺乏上下文意识。
改进：使用重叠块，让相邻块共享部分内容。

递归分块

方法：先用主要分隔符（如段落）分割，如果块太大，再用次要分隔符（如句子）递归分割。
优点：尊重文档结构，灵活适用于各种场景。

基于文档结构的分块

方法：根据文档的自然分区（如标题或章节）创建块。
优点：对结构化数据（如 HTML、Markdown、代码文件）非常有效。
缺点：对缺乏明确结构的数据效果较差。

语义分块

方法：将文本分成有意义的单位（如句子或段落），向量化后基于余弦距离合并成块。
特点：当检测到明显的上下文转换时形成新块。

基于LLM的分块

方法：使用语言模型生成语义独立的句子或命题作为块。
优点：高度准确。
缺点：计算需求最高。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-11

到底是谁会相信RAG已死啊？

2026-05-11

RAG又进化了！微软整了个企业级AgenticRAG

2026-05-11

AI Agent 如何重构 App 稳定性治理流程

2026-05-09

阿里云知识存储 skill？能接入openclaw/Hermes/codex吗

2026-05-07

阿里云知识存储 Skill 上架阿里云官网首批 Agent Skill：让智能体拥有企业级知识库

2026-05-07

1G内存检索2500万向量，Milvus中如何用FLAT在强标量过滤场景搞定毫秒响应？

2026-05-06

多Agent场景，子agent 之间数据读写不同步，如何解决？

2026-05-06

看 AgentRun 如何玩转记忆存储，最佳实践来了！

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

深度解析 PageIndex：无向量 RAG 框架的技术实现与原理剖析

2026-02-13

知识基座：让“AI 越用越懂业务”的团队经验实践【天猫AI Coding实践系列】

2026-03-23

全网爆火的大模型AI知识库，保姆级教程来了

2026-04-06

不用向量数据库的 RAG，居然跑得更准了？

2026-02-22

从RAG到GraphRAG：货拉拉元数据检索应用实践

2026-03-18

为什么总感觉 Claude Code 比 Cursor 聪明？真正的原因根本不是模型能力！

2026-03-20

当RAG遇上Agent记忆：为什么相似度检索会"塌方"？

2026-02-15

如何用 AI 做业务级 Code Review

2026-02-27

Claude Code 每次都要重新探索代码？这个工具直接省下30%成本

2026-02-21

面向手机Agent的记忆系统工程:OPPO的Agentic-RAG实战与演进

2026-03-21

大家都在问

到底是谁会相信RAG已死啊？

2026-05-11

1G内存检索2500万向量，Milvus中如何用FLAT在强标量过滤场景搞定毫秒响应？

2026-05-07

多Agent场景，子agent 之间数据读写不同步，如何解决？

2026-05-06

Karpathy的LLM Wiki + 3.5 万Star的Graphify：企业级 RAG 缺的真是知识图谱？

2026-04-27

多轮对话时，RAG反复做重复召回，模型层与Milvus层分别如何解决？

2026-04-21

企业AI落地三重门，用友如何破局？

2026-03-17

Embedding相似度虚高，如何用langchain+Milvus搭建CRAG解决？

2026-03-11

不用向量数据库的 RAG，居然跑得更准了？

2026-02-22

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部