我要投稿

RAG 中你需要知道的 5 种分块技术

发布日期：2024-09-29 18:53:14 浏览次数： 1900

作者：NLP轻松谈

微信搜一搜，关注“NLP轻松谈”

分块在 RAG 应用中的重要性。对于提高 LLM 性能至关重要，能使 RAG 应用更智能、更快速、更高效。

固定大小分块

方法：将文本分割成固定大小的块，不考虑内容的自然断点或结构。
优点：简单、成本效益高。
缺点：缺乏上下文意识。
改进：使用重叠块，让相邻块共享部分内容。

递归分块

方法：先用主要分隔符（如段落）分割，如果块太大，再用次要分隔符（如句子）递归分割。
优点：尊重文档结构，灵活适用于各种场景。

基于文档结构的分块

方法：根据文档的自然分区（如标题或章节）创建块。
优点：对结构化数据（如 HTML、Markdown、代码文件）非常有效。
缺点：对缺乏明确结构的数据效果较差。

语义分块

方法：将文本分成有意义的单位（如句子或段落），向量化后基于余弦距离合并成块。
特点：当检测到明显的上下文转换时形成新块。

基于LLM的分块

方法：使用语言模型生成语义独立的句子或命题作为块。
优点：高度准确。
缺点：计算需求最高。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-06-15

如何创建具有自我评估机制的Agent RAG

2025-06-15

RAG效果炸裂，亲测EasyDoc文档解析，结构化输出太香了

2025-06-14

一分钟读懂RAG的切分策略

2025-06-14

RAG-embedding篇

2025-06-14

RAG 信息检索：如何让模型找到‘对的知识’

2025-06-14

什么是RAG？一文搞懂检索增强生成技术

2025-06-14

AI开发实战：解决RAG的召回不准问题

2025-06-13

揭开RAG的神秘面纱：90%的人不知道腾讯IMA底层原理

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

通义QwQ-32B+Milvus，消费级显卡布满血大模型与RAG的时代来了！

2025-03-21

RAG检索增强之Reranker重排序模型详解！

2025-03-20

大模型 RAG 终极指南：信息检索 + 文本向量化 + BGE-M3 实践全解析！

2025-03-24

MCP、RAG、Agent之间的概念和关系，被我和AI协作的12张图总结了

2025-03-24

AI Agent 记忆技术浅析

2025-03-19

一个能给大模型加上“记忆”的工具，让 AI 助手更懂你，Star 26K+！

2025-03-24

Ragflow技术栈分析及二次开发指南

2025-03-28

让模型更懂你的业务！RAG原理和解决方案解析

2025-04-01

RAG 开发实例

2025-03-23

本地化大模型接入RagFlow错误记录

2025-04-13

大家都在问

从零开始学 Dify - Dify 的 RAG 系统如何有效地处理和检索大量文档？

2025-06-13

通过 RAG如何扩展提示词Prompting?

2025-06-09

为什么 RAG 一定需要 Rerank？

2025-06-06

RAG和向量数据库之间有什么关系?

2025-05-30

超越基础：Agentic Chunking 如何彻底改变 RAG？

2025-05-29

用Milvus构建RAG系统，N8N VS dify 如何选？

2025-05-29

【RAG】给传统企业搞AI转型，RAG项目最难啃的骨头是啥？

2025-05-23

解锁AI时代的核心通关密码——为什么你必须搞懂RAG、Agent、MCP？

2025-05-16

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB