微信扫码
与创始人交个朋友
我要投稿
创建一个简单的文档聊天系统:基础知识和实现步骤。
Hi,这里是Aitrainee,欢迎阅读本期新文章。
在这里我会告诉你如何用10行代码实现一个完整的文档聊天系统,这一切都在Python中完成,不使用任何框架如LangChain、LamaIndex或向量存储如Chroma。
首先,我们来看一下这个系统是如何工作的。RAG,或者说检索增强生成,其实是个老概念,就是从文档中提取信息。
你需要一个知识库或一堆文档,然后将它们分成小块,每个小块都要计算嵌入向量。这些嵌入向量是用来找到最相关文档的数值表示,通常会存储在向量存储中,但大多数情况下你不需要向量存储。
知识库创建部分完成后,当有新查询时,你需要为该查询计算嵌入,然后进行检索,找出与用户查询最接近的文档块。这些块会被附加到初始用户查询中,然后输入到LLM中生成响应。整个过程称为检索增强生成。
实现这个流程的框架有很多,最流行的是LangChain和LamaIndex,但你只需要Python、一个嵌入模型和一个LLM即可实现一个有效的RAG管道。
让我们把上面的步骤整理一下,系统的核心部分分为两个步骤:知识库创建和检索。
1. 知识库创建:
• 将你的文档分成多个小块,通常是段落。
• 为每个文档块计算嵌入向量。嵌入向量是这些文档块的数值表示,用于比较和检索。
• 将这些嵌入向量存储起来,通常使用向量存储,但我们将展示如何不使用向量存储来完成这一过程。
2. 检索和生成:
• 当用户输入查询时,为该查询计算嵌入向量。
• 使用这个嵌入向量去检索与之最相似的文档块。
• 将这些相关文档块与用户的查询一起输入到一个大型语言模型(LLM)中,生成最终的响应。
我们需要安装一些Python库来实现这个过程。可以使用以下命令在Google Colab中安装这些库:
!pip install -q sentence-transformers
!pip install -q wikipedia-api
!pip install -q numpy
!pip install -q scipy
!pip install -q openai
我们将使用Sentence Transformer
加载嵌入模型。这个模型将帮助我们将文本转换为嵌入向量。
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("Alibaba-NLP/gte-base-en-v1.5", trust_remote_code=True)
接下来,我们从维基百科获取文本内容,并将其分块。我们使用段落作为文档块。
from wikipediaapi import Wikipedia
wiki = Wikipedia('RAGBot/0.0', 'en')
doc = wiki.page('Hayao_Miyazaki').text
paragraphs = doc.split('\n\n') # 按段落分块
import textwrap
for i, p in enumerate(paragraphs):
wrapped_text = textwrap.fill(p, width=100)
print("-----------------------------------------------------------------")
print(wrapped_text)
print("-----------------------------------------------------------------")
我们为每个文档块计算嵌入向量。
docs_embed = model.encode(paragraphs, normalize_embeddings=True)
print(docs_embed.shape) # 输出嵌入向量的形状
当用户输入查询时,我们计算查询的嵌入向量,并与文档块的嵌入向量进行比较,找出最相似的文档块。
query = "What was Studio Ghibli's first film?"
query_embed = model.encode(query, normalize_embeddings=True)
import numpy as np
similarities = np.dot(docs_embed, query_embed.T) # 计算相似度(点积)
top_3_idx = np.argsort(similarities, axis=0)[-3:][::-1].tolist() # 获取最相似的三个文档块索引
most_similar_documents = [paragraphs[idx] for idx in top_3_idx]
我们将最相关的文档块与用户的查询一起输入到LLM中,生成最终的响应。
CONTEXT = ""
for i, p in enumerate(most_similar_documents):
wrapped_text = textwrap.fill(p, width=100)
print("-----------------------------------------------------------------")
print(wrapped_text)
print("-----------------------------------------------------------------")
CONTEXT += wrapped_text + "\n\n"
prompt = f"""
Use the following CONTEXT to answer the QUESTION at the end.
If you don't know the answer, just say that you don't know, don't try to make up an answer.
CONTEXT: {CONTEXT}
QUESTION: {query}
"""
import openai
client = openai.OpenAI(api_key="YOUR_API_KEY")
response = client.ChatCompletion.create(
model="gpt-4",
messages=[
{"role": "user", "content": prompt},
]
)
print(response.choices[0].message.content)
通过以上步骤,你可以用纯Python实现一个简单的RAG系统。这不仅有助于理解RAG的工作原理,还能帮助你在不依赖框架的情况下构建定制的检索增强生成系统。
以上所有过程及中间结果:
向上滑动 / 双击放大
现在,由于需要大量的辅助代码,这超过了10行代码,但是基本的Rack流水线可以用近10行代码实现。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-06
Anthropic RAG: 上下文检索技术
2024-10-06
AI检索黑马获2000万美元融资,推进RAG系统精准化,破解AI幻觉难题
2024-10-06
OpenRAG:全面增强RAG推理,超越Self-RAG、RAG 2.0、Command R+
2024-10-06
如何引入chunk层级优化RAG性能:从树结构RAPTOR到GEM-RAG加权图方案解读
2024-10-06
KAG:RAG已经不够了,知识增强生成才是王道,提升朴素RAG一倍性能
2024-10-05
打造自己的RAG解析大模型:Windows下部署OCR应用服务(可商业应用)
2024-10-05
基于RAG的to B智能体(Agent)应用实践
2024-10-03
RAG实战篇:将用户输入转换为精确的数据库查询语言
2024-07-18
2024-07-09
2024-07-09
2024-07-08
2024-07-09
2024-06-20
2024-07-07
2024-05-05
2024-07-07
2024-05-19
2024-09-30
2024-09-26
2024-09-26
2024-09-20
2024-09-16
2024-09-12
2024-09-11
2024-09-10