微信扫码
添加专属顾问
我要投稿
RAG系统性能提升的关键竟在文档切块?15种Chunking策略助你突破大模型处理长文本的瓶颈。 核心内容: 1. Chunking技术对RAG系统性能的决定性影响 2. 文档切块的三大核心考量因素与平衡技巧 3. 15种实用Chunking方法详解(含代码示例与应用场景)
你知道吗?在构建一个强大的RAG(Retrieval-Augmented Generation)系统时,决定其“聪明程度”的,可能不是模型本身,而是——你怎么“切块”你的文档。
在NLP领域,RAG系统已经成为处理复杂问答、文档摘要、知识库检索等任务的利器。但面对动辄上万字的文档,如何在不丢失上下文的前提下,把它们“切”成模型能消化的“小块”,就成了关键。
今天这篇文章,我们就来系统聊聊:15种Chunking技巧,帮你打造一个既快又准的RAG系统。无论你是做问答系统、文档检索,还是构建企业知识库,这篇文章都值得你收藏。
在RAG系统中,Chunking(切块)指的是:把大文档拆分成小块,以便模型更好地理解和检索信息。
你可能会问:为什么不能直接把整篇文档丢给模型?原因很简单:
所以,Chunking不是简单的“切”,而是要在“保留上下文”和“适配模型能力”之间找到平衡。
在正式介绍15种技巧之前,我们先来理解Chunking的三个关键因素:
接下来,我们进入正题:15种Chunking技巧,每种都配有使用场景、优缺点和代码示例,建议收藏!
原理:按固定词数或token数切分。
适用场景:结构简单的小文档。
优点:实现简单,速度快。
缺点:可能切断句子,丢失语义。
def fixed_size_chunk(text, max_words=100):
words = text.split()
return [' '.join(words[i:i + max_words]) for i in range(0, len(words), max_words)]
原理:按句子边界切分。
适用场景:需要保留语义完整性的文档。
优点:语义清晰,上下文连贯。
缺点:句子长度不一,chunk大小不稳定。
import spacy
nlp = spacy.load("en_core_web_sm")
def sentence_chunk(text):
doc = nlp(text)
return [sent.text for sent in doc.sents]
原理:按段落切分。
适用场景:结构清晰的文档,如论文、报告。
优点:自然分段,语义完整。
缺点:段落长度不一,可能超token限制。
def paragraph_chunk(text):
return text.split('\n\n')
原理:基于语义相似度进行切块。
适用场景:技术文档、复杂文本。
优点:上下文保留好。
缺点:实现复杂,需依赖模型。
def semantic_chunk(text, max_len=200):
doc = nlp(text)
chunks = []
current_chunk = []
for sent in doc.sents:
current_chunk.append(sent.text)
if len(' '.join(current_chunk)) > max_len:
chunks.append(' '.join(current_chunk))
current_chunk = []
if current_chunk:
chunks.append(' '.join(current_chunk))
return chunks
原理:文本、表格、图片分别处理。
适用场景:PDF、技术手册等混合内容文档。
优点:保留多种模态信息。
缺点:实现复杂。
def modality_chunk(text, images=None, tables=None):
text_chunks = paragraph_chunk(text)
return {'text_chunks': text_chunks, 'images': images, 'tables': tables}
原理:相邻chunk之间有重叠。
适用场景:法律、学术文档。
优点:上下文连贯。
缺点:内容重复,处理量大。
def sliding_window_chunk(text, chunk_size=100, overlap=20):
tokens = text.split()
chunks = []
for i in range(0, len(tokens), chunk_size - overlap):
chunk = ' '.join(tokens[i:i + chunk_size])
chunks.append(chunk)
return chunks
原理:按章节、段落、子段落分层切块。
适用场景:结构化文档,如论文、合同。
优点:保留文档结构。
缺点:实现复杂。
def hierarchical_chunk(text, section_keywords):
sections = []
current_section = []
for line in text.splitlines():
if any(keyword in line for keyword in section_keywords):
if current_section:
sections.append("\n".join(current_section))
current_section = [line]
else:
current_section.append(line)
if current_section:
sections.append("\n".join(current_section))
return sections
原理:根据内容特征动态调整切块策略。
适用场景:电子书、技术文档。
优点:灵活适应不同内容。
缺点:逻辑复杂。
def content_aware_chunk(text):
chunks = []
current_chunk = []
for line in text.splitlines():
if line.startswith(('##', '###', 'Introduction', 'Conclusion')):
if current_chunk:
chunks.append('\n'.join(current_chunk))
current_chunk = [line]
else:
current_chunk.append(line)
if current_chunk:
chunks.append('\n'.join(current_chunk))
return chunks
原理:将表格独立切块。
适用场景:财务报表、技术文档。
优点:保留表格结构。
缺点:格式可能丢失。
import pandas as pd
def table_aware_chunk(table):
return table.to_markdown()
原理:按token数切块,适配Transformer模型。
适用场景:GPT、BERT等模型。
优点:适配模型限制。
缺点:可能切断句子。
from transformers import GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
def token_based_chunk(text, max_tokens=200):
tokens = tokenizer(text)["input_ids"]
chunks = [tokens[i:i + max_tokens] for i in range(0, len(tokens), max_tokens)]
return [tokenizer.decode(chunk) for chunk in chunks]
原理:基于NER识别实体进行切块。
适用场景:简历、合同、法律文档。
优点:保留实体信息。
缺点:需训练NER模型。
def entity_based_chunk(text):
doc = nlp(text)
return [ent.text for ent in doc.ents]
原理:使用LDA等主题模型进行切块。
适用场景:新闻、研究论文等多主题文档。
优点:按主题聚合信息。
缺点:需额外建模。
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation
def topic_based_chunk(text, num_topics=3):
sentences = text.split('. ')
vectorizer = CountVectorizer()
sentence_vectors = vectorizer.fit_transform(sentences)
lda = LatentDirichletAllocation(n_components=num_topics, random_state=42)
lda.fit(sentence_vectors)
# 省略主题分配逻辑
return sentences
原理:按PDF页面切块。
适用场景:PDF文档。
优点:实现简单。
缺点:可能断句。
def page_based_chunk(pages):
return pages
原理:按关键词切分。
适用场景:结构清晰的文档。
优点:符合文档结构。
缺点:需预定义关键词。
def keyword_based_chunk(text, keywords):
chunks = []
current_chunk = []
for line in text.splitlines():
if any(keyword in line for keyword in keywords):
if current_chunk:
chunks.append('\n'.join(current_chunk))
current_chunk = [line]
else:
current_chunk.append(line)
if current_chunk:
chunks.append('\n'.join(current_chunk))
return chunks
原理:结合多种策略。
适用场景:复杂文档。
优点:灵活强大。
缺点:实现复杂。
def hybrid_chunk(text):
paragraphs = paragraph_chunk(text)
hybrid_chunks = []
for paragraph in paragraphs:
hybrid_chunks += sentence_chunk(paragraph)
return hybrid_chunks
Chunking不是简单的“把文档切碎”,而是一种信息架构设计。不同的切块策略,直接决定了RAG系统的检索精度、生成质量和响应速度。
希望这篇文章能帮你找到最适合你业务的Chunking策略。如果你正在构建RAG系统,不妨从这些小技巧开始,逐步优化你的文档处理流程。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-13
2025-04-19
2025-04-16
2025-05-08
2025-04-23
2025-04-16
2025-06-06
2025-05-30
2025-04-14
2025-05-19
2025-07-09
2025-07-04
2025-07-01
2025-07-01
2025-07-01
2025-07-01
2025-06-30
2025-06-29