我要投稿

文本分块哪家强？LumberChunker、语义分块、段落级、循环分块、HyDE、命题级

发布日期：2024-06-28 05:38:23 浏览次数： 2834

作者：PaperAgent

微信搜一搜，关注“PaperAgent”

检索增强生成（RAG）系统通过将模型生成与上下文相关文档相结合来提高信息的准确性，文本内容如何分割成“块（chunk）”对检索质量有显著影响。

用于问答实验的RAG Pipeline，一些tricks，混合检索：BM25-Top3、密集检索-Top15，BM25的Top1排在前面，Top2-3排在最后；大模型重排序：如果上下文包含六个或更多块，从中间点开始反转块的顺序。

LumberChunker方法利用LLM动态地将文档分割成语义独立的块。这种方法基于一个前提：当内容块的大小可以变化时，检索效率会提高，因为这样可以更好地捕捉内容的语义独立性。LumberChunker通过迭代地提示LLM，在一系列连续段落中识别内容开始转变的点，从而确保每个块在上下文中是连贯的，但与相邻块有所区别。

LumberChunker遵循一个三步流程。首先，按段落对文档进行分割。其次，通过追加连续的块，创建一个组（Gi），直到超过预定义的标记计数θ。最后，将Gi作为上下文输入到Gemini，Gemini确定显著内容转变开始出现的ID，从而定义了Gi+1的开始和当前块的结束。这个过程在整个文档中循环重复。

实验结果表明，LumberChunker在检索性能上优于其他竞争性基线，特别是在DCG@20指标上，比最接近的竞争者（循环分块：Recursive Chunking）高出7.37%；其它的竞争者分别是：语义分块：Semantic Chunking、段落级：Paragraph-Level、HyDE、命题级：Proposition-Level。

在GutenQA（3000个QA）上使用不同粒度的问题和检索语料库段落的段落检索性能（DCG@k和Recall@k）。每列中的最佳得分以粗体突出显示。

当LumberChunker集成到RAG流程中时，它被证明比其他分割方法和竞争性基线更有效。

LumberChunker不足：

尽管它在性能上优于所有基线，但它需要使用LLM，这使得它在成本和速度上比传统方法更高、更慢。

LumberChunker专门设计用于叙事文本，对于高度结构化的文本，可能不是最优解决方案。

附录：

LumberChunker Gemini Prompt示例，用于书籍《小熊维尼》由A. A.米尔恩著

与表2中的例子不同，表3段落中的代词“He”不能被准确共指，导致命题(propositions)有些模糊。因此，如果用户问到“埃隆·马斯克家族中谁曾经做过牛仔表演者？”这样的问题，一个仅使用命题作为检索单元的模型将无法提供准确的回答。

https://github.com/joaodsmarques/LumberChunkerhttps://arxiv.org/pdf/2406.17526LumberChunker: Long-Form Narrative Document Segmentation

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-07-30

优化 AI 问答准确率：知识库实践与避坑指南

2025-07-30

RAG召回优化完全指南：从理论到实践的三大核心策略！

2025-07-30

RAG 检索四件套全解析：模型、向量库、检索方式、排序器，一文选型不踩坑

2025-07-30

从0到1，彻底搞懂 RAG 分块的艺术（附开源代码）

2025-07-30

大规模RAG实施蓝图

2025-07-29

一小时内构建基于Gemma与Bright Data的生产级RAG应用

2025-07-28

做RAG系统到底是选MaxKB还是FastGPT

2025-07-28

企业RAG之构建 FastMCP 服务：基于模型上下文协议的智能服务体系搭建实践

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

RAG技巧与底层代码剖析

2025-06-06

2025年GitHub上十大RAG框架深度解析：从技术原理到实战应用

2025-05-30

RAGFlow中的Embeddings模型选择及向量数据库选型与实现分析

2025-06-05

淘天⾃营质量技术AI智能体的实践和思考

2025-05-19

深度解读：LlamaIndex 实现 RAG 重排序的关键要点

2025-05-08

如何构建基于n8n的RAG日报工作流（手把手教程）

2025-05-10

RAG技术全解析：从基础原理到优化实战

2025-06-05

ragflow架构解析及性能优化方式

2025-05-20

知识图谱+RAG：大幅提升智能问答系统准确率

2025-06-05

让大模型“记住”更多：RAG与长期记忆

2025-05-09

大家都在问

长文本放提示词中还是采用 RAG？

2025-07-28

AI大模型落地最后一公里：RAG？

2025-07-09

向量相似度检索遇到天花板，是否我们走错了？

2025-07-04

RAG检索策略深度解析：从BM25到Embedding、Reranker，如何为LLM选对“导航系统”？

2025-07-01

从碎片到图谱：Graph RAG如何用知识网络颠覆传统搜索？

2025-07-01

qodo如何构建大型代码仓库的RAG？

2025-07-01

RAG系统的“聪明药”：如何用反馈回路让你的AI越用越聪明？

2025-07-01

GraphRAG的索引动态更新解法-分桶+局部更新及“上下文工程”新概念？

2025-06-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB