支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


文档太长模型“吃不下”?试试这15种Chunking策略,轻松搞定RAG!

发布日期:2025-07-11 12:17:35 浏览次数: 1542
作者:Halo咯咯

微信搜一搜,关注“Halo咯咯”

推荐语

RAG系统性能提升的关键竟在文档切块?15种Chunking策略助你突破大模型处理长文本的瓶颈。

核心内容:
1. Chunking技术对RAG系统性能的决定性影响
2. 文档切块的三大核心考量因素与平衡技巧
3. 15种实用Chunking方法详解(含代码示例与应用场景)

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

1、RAG系统也能“切块”?15种Chunking技巧让你的检索生成更聪明!

你知道吗?在构建一个强大的RAG(Retrieval-Augmented Generation)系统时,决定其“聪明程度”的,可能不是模型本身,而是——你怎么“切块”你的文档

在NLP领域,RAG系统已经成为处理复杂问答、文档摘要、知识库检索等任务的利器。但面对动辄上万字的文档,如何在不丢失上下文的前提下,把它们“切”成模型能消化的“小块”,就成了关键。

今天这篇文章,我们就来系统聊聊:15种Chunking技巧,帮你打造一个既快又准的RAG系统。无论你是做问答系统、文档检索,还是构建企业知识库,这篇文章都值得你收藏。


01|什么是Chunking?为什么它这么重要?

在RAG系统中,Chunking(切块)指的是:把大文档拆分成小块,以便模型更好地理解和检索信息

你可能会问:为什么不能直接把整篇文档丢给模型?原因很简单:

  • 大模型有token限制(比如GPT-4最多支持8K tokens);
  • 文档太长,模型容易“看漏”关键信息;
  • 不切块,检索系统很难精准定位答案。

所以,Chunking不是简单的“切”,而是要在“保留上下文”和“适配模型能力”之间找到平衡


02|Chunking的三大核心考量

在正式介绍15种技巧之前,我们先来理解Chunking的三个关键因素:

1. 块的大小(Chunk Size)

  • 太大:容易超token限制,检索慢;
  • 太小:上下文丢失,生成质量差;
  • 建议:根据模型token上限,控制在100~500 tokens之间。

2. 上下文保留(Context Preservation)

  • 切块不能“断句断意”,否则模型会“看不懂”;
  • 使用滑动窗口、语义切块等方式,能有效保留上下文。

3. 多模态处理(Modality Handling)

  • 文档中可能包含表格、图片、代码块
  • 不同内容类型需要不同的切块策略。

03|15种Chunking技巧全解析(附代码)

接下来,我们进入正题:15种Chunking技巧,每种都配有使用场景、优缺点和代码示例,建议收藏!


1. 固定大小切块(Fixed-Size Chunking)

原理:按固定词数或token数切分。

适用场景:结构简单的小文档。

优点:实现简单,速度快。

缺点:可能切断句子,丢失语义。

def fixed_size_chunk(text, max_words=100):
    words = text.split()
    return [' '.join(words[i:i + max_words]) for i in range(0, len(words), max_words)]

2. 句子切块(Sentence-Based Chunking)

原理:按句子边界切分。

适用场景:需要保留语义完整性的文档。

优点:语义清晰,上下文连贯。

缺点:句子长度不一,chunk大小不稳定。

import spacy
nlp = spacy.load("en_core_web_sm")

def sentence_chunk(text):
    doc = nlp(text)
    return [sent.text for sent in doc.sents]

3. 段落切块(Paragraph-Based Chunking)

原理:按段落切分。

适用场景:结构清晰的文档,如论文、报告。

优点:自然分段,语义完整。

缺点:段落长度不一,可能超token限制。

def paragraph_chunk(text):
    return text.split('\n\n')

4. 语义切块(Semantic Chunking)

原理:基于语义相似度进行切块。

适用场景:技术文档、复杂文本。

优点:上下文保留好。

缺点:实现复杂,需依赖模型。

def semantic_chunk(text, max_len=200):
    doc = nlp(text)
    chunks = []
    current_chunk = []
    for sent in doc.sents:
        current_chunk.append(sent.text)
        if len(' '.join(current_chunk)) > max_len:
            chunks.append(' '.join(current_chunk))
            current_chunk = []
    if current_chunk:
        chunks.append(' '.join(current_chunk))
    return chunks

5. 模态感知切块(Modality-Specific Chunking)

原理:文本、表格、图片分别处理。

适用场景:PDF、技术手册等混合内容文档。

优点:保留多种模态信息。

缺点:实现复杂。

def modality_chunk(text, images=None, tables=None):
    text_chunks = paragraph_chunk(text)
    return {'text_chunks': text_chunks, 'images': images, 'tables': tables}

6. 滑动窗口切块(Sliding Window Chunking)

原理:相邻chunk之间有重叠。

适用场景:法律、学术文档。

优点:上下文连贯。

缺点:内容重复,处理量大。

def sliding_window_chunk(text, chunk_size=100, overlap=20):
    tokens = text.split()
    chunks = []
    for i in range(0, len(tokens), chunk_size - overlap):
        chunk = ' '.join(tokens[i:i + chunk_size])
        chunks.append(chunk)
    return chunks

7. 层级切块(Hierarchical Chunking)

原理:按章节、段落、子段落分层切块。

适用场景:结构化文档,如论文、合同。

优点:保留文档结构。

缺点:实现复杂。

def hierarchical_chunk(text, section_keywords):
    sections = []
    current_section = []
    for line in text.splitlines():
        if any(keyword in line for keyword in section_keywords):
            if current_section:
                sections.append("\n".join(current_section))
            current_section = [line]
        else:
            current_section.append(line)
    if current_section:
        sections.append("\n".join(current_section))
    return sections

8. 内容感知切块(Content-Aware Chunking)

原理:根据内容特征动态调整切块策略。

适用场景:电子书、技术文档。

优点:灵活适应不同内容。

缺点:逻辑复杂。

def content_aware_chunk(text):
    chunks = []
    current_chunk = []
    for line in text.splitlines():
        if line.startswith(('##''###''Introduction''Conclusion')):
            if current_chunk:
                chunks.append('\n'.join(current_chunk))
            current_chunk = [line]
        else:
            current_chunk.append(line)
    if current_chunk:
        chunks.append('\n'.join(current_chunk))
    return chunks

9. 表格感知切块(Table-Aware Chunking)

原理:将表格独立切块。

适用场景:财务报表、技术文档。

优点:保留表格结构。

缺点:格式可能丢失。

import pandas as pd

def table_aware_chunk(table):
    return table.to_markdown()

10. Token级切块(Token-Based Chunking)

原理:按token数切块,适配Transformer模型。

适用场景:GPT、BERT等模型。

优点:适配模型限制。

缺点:可能切断句子。

from transformers import GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

def token_based_chunk(text, max_tokens=200):
    tokens = tokenizer(text)["input_ids"]
    chunks = [tokens[i:i + max_tokens] for i in range(0, len(tokens), max_tokens)]
    return [tokenizer.decode(chunk) for chunk in chunks]

11. 实体感知切块(Entity-Based Chunking)

原理:基于NER识别实体进行切块。

适用场景:简历、合同、法律文档。

优点:保留实体信息。

缺点:需训练NER模型。

def entity_based_chunk(text):
    doc = nlp(text)
    return [ent.text for ent in doc.ents]

12. 主题切块(Topic-Based Chunking)

原理:使用LDA等主题模型进行切块。

适用场景:新闻、研究论文等多主题文档。

优点:按主题聚合信息。

缺点:需额外建模。

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation

def topic_based_chunk(text, num_topics=3):
    sentences = text.split('. ')
    vectorizer = CountVectorizer()
    sentence_vectors = vectorizer.fit_transform(sentences)
    lda = LatentDirichletAllocation(n_components=num_topics, random_state=42)
    lda.fit(sentence_vectors)
    # 省略主题分配逻辑
    return sentences

13. 页面切块(Page-Based Chunking)

原理:按PDF页面切块。

适用场景:PDF文档。

优点:实现简单。

缺点:可能断句。

def page_based_chunk(pages):
    return pages

14. 关键词切块(Keyword-Based Chunking)

原理:按关键词切分。

适用场景:结构清晰的文档。

优点:符合文档结构。

缺点:需预定义关键词。

def keyword_based_chunk(text, keywords):
    chunks = []
    current_chunk = []
    for line in text.splitlines():
        if any(keyword in line for keyword in keywords):
            if current_chunk:
                chunks.append('\n'.join(current_chunk))
            current_chunk = [line]
        else:
            current_chunk.append(line)
    if current_chunk:
        chunks.append('\n'.join(current_chunk))
    return chunks

15. 混合切块(Hybrid Chunking)

原理:结合多种策略。

适用场景:复杂文档。

优点:灵活强大。

缺点:实现复杂。

def hybrid_chunk(text):
    paragraphs = paragraph_chunk(text)
    hybrid_chunks = []
    for paragraph in paragraphs:
        hybrid_chunks += sentence_chunk(paragraph)
    return hybrid_chunks

04|不同场景下如何选择Chunking策略?

场景类型
推荐策略
FAQ、客服系统
句子切块、关键词切块
学术论文
层级切块、语义切块
技术文档
表格感知切块、内容感知切块
多模态文档
模态感知切块、混合切块
法律文档
滑动窗口切块、实体感知切块

05|结语:Chunking不是“切”,是“设计”

Chunking不是简单的“把文档切碎”,而是一种信息架构设计。不同的切块策略,直接决定了RAG系统的检索精度、生成质量和响应速度。

希望这篇文章能帮你找到最适合你业务的Chunking策略。如果你正在构建RAG系统,不妨从这些小技巧开始,逐步优化你的文档处理流程。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询