1 概述

以往我们使用的文本切分方式，都是基于特定字符、或者特定长度的，而完全不考虑语义，这未免有点奇怪，而且从实践经验来看，使用特定字符或特定长度的切分方式，导致片段语义不连贯是非常明显的一个问题。

langchain-experimental库中有一个SemanticChunker，可以将句子转换为向量，并计算不同向量之间的相似性，来决定是否需要切分，由于向量可以代表句子的语义，因此这样切分也是语义切分。

langchain-experimental库的实现，来自另一位作者（后文称原作者）：https://github.com/FullStackRetrieval-com/RetrievalTutorials/blob/main/tutorials/LevelsOfTextSplitting/5_Levels_Of_Text_Splitting.ipynb。

2 原理

SemanticChunker的切分原理是这样的，例如使用正则表达式，将原始文本切分后得到了一系列句子：

[sentence_1, sentence_2, sentence_3, sentence_4, sentence_5, sentence_6, sentence_7, sentence_8, sentence_9, ...]

原作者共提出了两种方法：

• 带位置奖励的层次聚类：例如将上面的那些句子，每个都分别计算Embedding，然后对这些Embedding进行层次聚类。但作者提到有些特别短的句子，切分开可能会导致语义的改变，例如“But because I chose to split on sentences, there was an issue with small short sentences after a long one. You know?”，最后面的“You know?”就是特别短的句子，单独切开计算相似度显然不合适。所谓的位置奖励就是，将更可能挨在一起的句子在切分时给予一定的奖励。但作者提到，这种方法调参会很慢而且不是最优的（slow and unoptimal），神奇的是我们使用这种方法切分取得了很好的效果。

• 在连续句子中寻找切分点：这种想法很好理解，就是对每个句子计算Embedding，然后分别计算相邻句子的距离（1-余弦相似度），当这个距离突破特定阈值时，则在此处切开，例如上面的sentence_1、sentence_2、sentence_3，之间的距离都比较近，而sentence_3与sentence_4距离比较远，则在sentence_3和sentence_4之间增加切分点，最终就会把1、2、3分成一个切片。这样理解比较直观，但实际操作时会发现噪音比较大，因此作者采用了滑动窗口的方式，相当于做了“平滑处理”，窗口大小保留为3，发现效果不错。

注意：窗口大小为3，对应下面介绍的代码中SemanticChunker构造函数中buffer_size=1，因为会向前、后各取buffer_size个句子。

如此操作完之后，将横轴记为句子的index，纵轴为句子距离，就得到了下面的图：

然后将显著大于正常距离的点，作为切分点，就可以得到如下的切分位置，以及切片。

至于怎样的距离算显著，langchain-experimenal中提供了4种方法：

• percentile：分位数切分法，默认切分方法，也是原作者所使用的切分方法，这种方式也最好理解，percentile的默认值设置为95，意味着距离大于等于95分位数的地方，增加切分点，95分位数就是所有距离从小到大排列，分为100份，第95份的那个数

• standard_deviation：标准差偏离法，也是统计学中表示偏离正常的常规方法，这种方法比较适合正态分布，切分点的值大于等于“距离的均值+3*距离的标准差”，3是代码中standard_deviation的默认值，也是最常用的值

• interquartile：四分位距法，是统计学中表示偏离的另一种常规方法，这种方法计算分位数，所以数据分布不那么正态问题也不大，切分点的值大于等于“距离的均值+1.5*距离的四分位距”，其中1.5是代码中的默认值，也是最常用的值，距离的四分位距的计算，首先将所有距离由小到大排列分成100份，在第25份的位置记为q1（下四分位），第75份的位置记为q3（上四分位），四分位距=q3-q1，因为用了两个四分位的距离，所以叫四分位距

• gradient：梯度法，这种方式稍微难理解一些，它首先计算了所有距离的梯度（对于这个场景其实是一阶差分，因为是离散值），梯度计算出来后，就可以知道哪个地方距离变化得快，然后选择所有梯度95分位的位置作为切分点，95是代码中的默认值。这个方法背后对应的道理是，句子之间的距离是有增有降的，那在增加的过程中，如何找准时机呢，那我一定要在猛增的那个点进行切分，其实跟k-means使用肘方法来确定类簇数量，想法是一样的

3 效果

从下图可以看出，使用Embedding的方式进行切分，对相邻片段使用层次聚类的切分效果最好，超过了Baseline（基础流程）。

4 核心代码

本文对应的代码已开源，地址在：

https://github.com/Steven-Luo/MasteringRAG/blob/main/split/02_embedding_based_sementic_splitter.ipynb

使用Embedding的切分，核心代码非常简单，准备好Embedding模型和要切分的文档后，两行代码就能搞定：

   SemanticChunker


   HuggingFaceBgeEmbeddings
 

embeddings = HuggingFaceBgeEmbeddings(
    model_name=,
    model_kwargs={: device},
    encode_kwargs={: },

    query_instruction=
)

   OpenAIEmbeddings
embeddings = OpenAIEmbeddings()


 
text = (os.path.join(os.path.pardir, , , )).read()


text_splitter = SemanticChunker(
    embedding_model
)
docs = text_splitter.create_documents([text])

特别注意：SemanticChunker这个切分器默认的参数，是为英文优化的，在中文上直接使用的话，是不work的，下面介绍一些重要的参数，以及在中文环境下要注意的点。

4.1 注意切分的正则表达式

SemanticChunker的构造器如下：

 (BaseDocumentTransformer):











 (
,
        embeddings: Embeddings,
        buffer_size:  = ,
        add_start_index:  = ,
        breakpoint_threshold_type: BreakpointThresholdType = ,
        breakpoint_threshold_amount: Optional[] = ,
        number_of_chunks: Optional[] = ,
        sentence_split_regex:  = ,
        min_chunk_size: Optional[] = ,
    ):
    ...

构造函数中有一个参数sentence_split_regex，用于先将文本切分成片段，从源代码中可以看出，它默认是对英文的句号、问号、感叹号进行切分的，而且是对比较规范的英文行文，也就是这三种标点后还跟空白字符的，对于中文，是无法正常切分的，使用中文时，首先要将这个正则表达式替换成能切分中文的，例如下面这样：

sentence_split_regex=

4.2 使用buffer_size控制窗口大小

原作者的实现，采用滑动窗口实现，上面在原理部分已经提到过，buffer_size来控制当前句子前、后各取几个句子组成一组来计算Embedding以及相似度。

4.3 注意最小切片大小

另一个要注意的点是min_chunk_size参数，不同于RecursiveCharacterTextSplitter这种从大向小切的方法，SemanticChunker是从一个个句子“合并”为大片段的，这就意味着如果一开始使用正则表达式切分后的句子很短，而它恰好又达到了切分的条件，最终会得到一些非常短的片段。

4.4 注意观察切片后的大小

使用SemanticChunker有时候可能会得到非常大的切片，远远超过了向量模型的长度限制，当然也可以换支持更大长度的向量模型，但句子太长其中的信息会被稀释，也未必一定会带来正向收益。原作者在Semantic Chunking的最后部分提到，可以对较大的进行二次切分，在我的样例代码中也包含了这部分，但并未带来正向收益，欢迎大家积极探索。

4.5 使用层次聚类

使用层次聚类是通过将number_of_chunks赋值为一个具体数字来控制的，而不是一个布尔值，使用方式类似如下：

text_splitter = SemanticChunker(
    embedding_model,
    number_of_chunks=number_of_chunks
)
docs = text_splitter.create_documents([text])