LangChain与LlamaIndex对比

引言

检索增强生成（RAG）把信息检索与生成式模型结合，在问答、摘要及其他 NLP 任务中极具威力。实现 RAG 最常用的两大框架是 LangChain 与 LlamaIndex。二者都可处理文档摄取、切分、索引，并把各步骤串联成流畅的 RAG 工作流。但哪一个更契合你的项目？本文将围绕 RAG 的四大核心组件——加载器（Loaders）、切分器（Splitters）、索引（Indexing）与链（Chains）——逐层比较 LangChain 与 LlamaIndex，并在每一步给出代码示例。

LangChain 关键组件

LangChain 围绕以下模块构建：

提示（Prompts）
提示是给予语言模型的指令，用以引导回答。LangChain 提供标准化接口来创建与管理提示，便于跨模型、跨场景复用与定制。

模型（Models）
LangChain 为多家大模型（如 OpenAI GPT-4o、Anthropic Claude、Cohere 等）提供统一接口，抽象掉不同模型的差异，实现无缝切换。

记忆（Memory）
LangChain 的亮点之一是其记忆管理能力。与普通 LLM 独立处理每条查询不同，LangChain 可保存先前交互信息，实现上下文连贯的对话。它提供多种记忆实现，可保存完整对话历史，也可通过摘要旧信息、保留近期信息的方式工作。

链（Chains）
链是一系列操作，每一步的输出作为下一步的输入。LangChain 提供健壮接口来构建与管理链，并附带大量可复用组件。这种模块化方法可创建集成多种工具与多次 LLM 调用的复杂工作流。

智能体（Agents）
智能体根据输入判断并执行动作。它们利用 LLM 决定动作顺序，并调用各种工具完成任务。LangChain 提供多种预制智能体，可按需定制。

LangChain 的强项
• 需要保留对话上下文的聊天机器人、自动客服等场景
• 通过提示让 LLM 执行文本生成、翻译、问答等任务
• 提供访问多源多格式文档的加载器，丰富 LLM 知识库
• 使用文本嵌入模型生成语义嵌入，支持 50 余种向量存储方案实现内容发现与检索
• 智能体与工具包：智能体依据自然语言指令行动，可动态调用链。

LlamaIndex 关键组件

LlamaIndex 为 LLM 增添 RAG 能力，让外部知识源、数据库、索引充当记忆。

LlamaIndex 典型工作流

索引阶段
将私有数据高效转为可搜索的向量索引。可处理无结构文本、结构化数据库记录、知识图谱等。数据被转换为捕捉语义含义的数值嵌入，以便后续快速相似度搜索。

存储
默认情况下，索引数据仅存于内存；如需持久化，可用 .persist() 方法写入磁盘，后续通过重建存储上下文并加载索引，节省重索引时间与算力。

向量存储
用于保存索引阶段产生的嵌入。

嵌入
默认使用 OpenAI 的 text-embedding-ada-002，也可按所用 LLM 替换其他嵌入方案。VectorStoreIndex 将文本转为嵌入，查询时亦将问题转为嵌入并返回最相似的前 k 个文本块（top-k 语义检索）。若嵌入已存在，可直接从向量库加载，免去重新索引。

查询阶段
系统根据语义相似度从向量索引中检索最相关片段，连同原始问题交给大模型生成最终回答。

检索
从存储索引中检索最相关信息并送给 LLM，返回最新且上下文相关的回答。

后处理
对检索到的节点（文档片段）进行重排、变换或过滤，通过元数据或关键词提高数据的相关性与准确性。

回答合成
将查询、最相关数据及初始提示组合后送 LLM 生成回答。

LlamaHub
包含多种数据加载器，可将多源数据接入应用。例如 Google Docs Reader、SimpleDirectoryReader 等，支持 md、PDF、图片、Word、音视频等格式。

特性对比

LangChain vs LlamaIndex：基本概览

• LlamaIndex 长于搜索与检索，适合需高级搜索的项目。能快速、精准地从大数据集中检索信息。
• LangChain 是一套模块化、灵活的工具集，可构建各类 NLP 应用，提供标准链式接口、丰富集成及端到端场景链。

加载器对比

加载器负责从本地文件、API、数据库等多源加载文档。二者均提供常用格式的内置加载器。

LangChain 中的加载器
LangChain 拥有多种加载器，可加载文本、PDF 甚至网页。

from langchain.document_loaders import TextLoader
# Load a text document  
loader=TextLoader("sample.txt")
documents=loader.load()
print(documents[0].page_content)

LangChain 加载器返回一个 Document 对象列表，可继续处理。

LlamaIndex 中的加载器
LlamaIndex（原 GPT Index）采用类似方式加载文档，并支持 Pandas DataFrame 等额外格式。

from llama_index import SimpleDirectoryReader
# Load a text document from a directory  
loader=SimpleDirectoryReader('path/to/docs')
documents=loader.load_data()
print(documents[0].text)

LlamaIndex 的加载器同样返回 Document 对象列表，但结构可能因加载器而异。

切分器对比

切分器将大文档拆分成小块，以适配 GPT、BERT 等模型的 token 限制。

LangChain 中的切分器
LangChain 的切分器称为 TextSplitters，可按字符、单词或句子自定义切分。

from langchain.text_splitter import CharacterTextSplitter

# Define a character splitter  
splitter=CharacterTextSplitter(chunk_size=1000,chunk_overlap=200)
chunks=splitter.split_documents(documents)
print(chunks[0].page_content)

LlamaIndex 中的切分器
LlamaIndex 使用 TokenTextSplitter，按 token 数量切分文档，确保块大小符合模型限制。

from llama_index import TokenTextSplitter
# Define a token splitter  
splitter=TokenTextSplitter(chunk_size=1000)
chunks=splitter.split(documents)
print(chunks[0].text)

索引对比

索引是 RAG 核心，支持基于用户查询快速检索相关片段。

LangChain 中的索引
LangChain 使用 VectorStoreIndex，通过文档嵌入创建索引，支持相似度检索。

from langchain.vectorstores import FAISS
from langchain.embeddings.openai import OpenAIEmbeddings

# Create embeddings  
embedding_model=OpenAIEmbeddings()

# Create FAISS index  
index=FAISS.from_documents(chunks,embedding_model)

LlamaIndex 中的索引
LlamaIndex 通过 GPTTreeIndex 简化索引，使用树形结构实现高效检索。

from llama_index import GPTTreeIndex

# Create an index  
index=GPTTreeIndex(documents)
query_engine=index.as_query_engine()

链对比

链指将检索与生成串接的操作序列。二者均可把检索结果送入生成模型。


LangChain 中的链
LangChain 支持灵活链式，可将 LLMChain 等多个组件组合成复杂工作流。

from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

# Combine FAISS index and OpenAI for RAG  
llm=OpenAI()
qa_chain=RetrievalQA(llm=llm,retriever=index.as_retriever())
result=qa_chain.run("What is the content of the document?")
print(result)

LlamaIndex 中的链
LlamaIndex 通过 query engine 将检索与生成合并，简化实现。

response=query_engine.query("What is the content of the document?")
print(response)

何时选 LangChain 或 LlamaIndex？

选择取决于项目复杂度、所需灵活性及框架特性。

控制与定制

LangChain：提供对 RAG 管道各组件的细粒度控制，可构建高度灵活的工作流，适合多源异构数据与多种检索策略。
示例场景：构建多模态 RAG，需同时处理 PDF、网页、API。

from langchain.chains import SequentialChain
from langchain.llms import OpenAI
from langchain.document_loaders importWebPageLoader,TextLoader
from langchain.vectorstores import FAISS

# Step 1: Load data from multiple sources  
pdf_loader=TextLoader("docs/sample.pdf")
web_loader=WebPageLoader(url="[https://example.com")](https://example.com")/)  
documents=pdf_loader.load()+web_loader.load()

# Step 2: Create embeddings and index  
embedding_model=OpenAIEmbeddings()
index=FAISS.from_documents(documents,embedding_model)

# Step 3: Build a chain that retrieves and generates responses  
llm=OpenAI()
qa_chain=RetrievalQA(llm=llm,retriever=index.as_retriever())

# Run the chain  
response=qa_chain.run("What are the key points in the PDF and website?")
print(response)

LlamaIndex：适合较小范围、结构简单的文本任务，配置极简，迅速落地。

from llama_index import SimpleDirectoryReader,GPTTreeIndex

# Load documents from a directory  
loader=SimpleDirectoryReader('docs/')
documents=loader.load_data()

# Build a tree index and query  
index=GPTTreeIndex(documents)
query_engine=index.as_query_engine()

# Query the system  
response=query_engine.query("Summarize the legal document.")
print(response)

集成与生态

LangChain：连接器丰富（FAISS、Pinecone、Chroma 等向量库；OpenAI、Claude、Hugging Face 等模型），切换模型、存储轻松自如。

fromlangchain.chainsimportSimpleSequentialChain
fromlangchain.llmsimportOpenAI,HuggingFaceHub

# Use GPT-4 and Hugging Face BERT sequentially  
gpt_chain=LLMChain(llm=OpenAI(model="gpt-4"),prompt="What is AI?")
bert_chain=LLMChain(llm=HuggingFaceHub(model="bert-large-uncased"),prompt="Translate the response.")

# Chain them together  
chain=SimpleSequentialChain(chains=[gpt_chain,bert_chain])
result=chain.run("What is the future of AI?")
print(result)

LlamaIndex：集成能力相对有限，但在快速文档摄取与查询场景表现可靠。

复杂查询与检索

LangChain：支持路由查询、混合检索（关键词+向量）、后检索重排等高级策略。
示例：法律文档用关键词检索，科研论文用向量检索，LangChain 可路由至对应检索器。

from langchain.retrievers.multi_retriever import MultiRetriever
from langchain.retriever simport FAISSRetriever,KeywordRetriever

# Define keyword and embedding-based retrieval systems  
keyword_retriever=KeywordRetriever(documents=legal_documents)
embedding_retriever=FAISSRetriever(index=scientific_index)

# Combine them in a MultiRetriever  
retriever=MultiRetriever(retrievers={
'legal':keyword_retriever,
'science':embedding_retriever
})

# Query the retriever with a legal question  
response=retriever.retrieve("What are the recent changes in contract law?")
print(response)

LlamaIndex：适合简单任务，如文档内定位或摘要，其树状索引对层次分明的文档（合同、法规）尤佳。

from llama_index import GPTTreeIndex

# Load and index legal contracts  
documents=SimpleDirectoryReader('contracts/').load_data()
index=GPTTreeIndex(documents)

# Query specific clauses within a contract  
response=index.query("What are the termination clauses?")
print(response)

生态与社区

LangChain：社区活跃，更新迅速，云部署、扩展更成熟。

LlamaIndex：相对年轻，却在简单工作流或层次数据场景快速流行。

结论：选 LangChain 还是 LlamaIndex？

二者均为优秀 RAG 框架，但适用场景不同。

选 LangChain 若你需要：
• 对每个环节进行深度定制
• 处理多模态、多源数据
• 采用高级检索策略（混合搜索、后检索重排）
• 与多种模型、存储系统无缝集成
LangChain 功能更强、更灵活，适合需要复杂管道与深度定制的场景。

选 LlamaIndex 若你需要：
• 简单轻量的快速 RAG 实现，聚焦文档检索与摘要
• 适配层次化文档的树状索引
• 最小配置即可运行的系统
LlamaIndex 更简洁高效，适合文档型任务且无需深度定制。

最终，项目复杂度决定选择：
• 复杂多源、高定制需求 → LangChain
• 文档型、层次结构、快速落地 → LlamaIndex