通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统

• Milvus 实例和 PAI（EAS）须在相同地域下。
• 请确保您的运行环境中已安装 Python 3.8 或以上版本，以便顺利安装并使用 DashScope。

• 知识库预处理：您可以借助 LangChain SDK 对文本进行分割，作为 Embedding 模型的输入数据。
• 知识库存储：选定的 Embedding 模型（DashScope）负责将输入文本转换为向量，并将这些向量存入阿里云 Milvus 中。
• 向量相似性检索：Embedding 模型处理用户的查询输入，并将其向量化。随后，利用阿里云Milvus的索引功能来识别出相应的 Retrieved 文档集。
• RAG（Retrieval-Augmented Generation）对话验证：您使用 LangChain SDK，并将相似性检索的结果作为上下文，将问题导入到 LLM 模型（本例中用的是阿里云PAI EAS），以产生最终的回答。此外，结果可以通过将问题直接查询 LLM 模型得到的答案进行核实。

步骤一：部署对话模型推理服务

1. 登录 PAI 控制台【https://pai.console.aliyun.com/】。
2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。
3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。

1. 单击服务名称，进入概览页面。
2. 在基本信息区域，单击查看调用信息。
3. 在调用信息对话框的 VPC 地址调用页签，获取服务访问地址和 Token，并保存到本地。

步骤二：创建并执行Python文件

pip3 install pymilvus langchain dashscope beautifulsoup4

vim milvusr-llm.py

from langchain_community.document_loaders import WebBaseLoaderfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.vectorstores.milvus import Milvusfrom langchain.schema.runnable import RunnablePassthroughfrom langchain.prompts import PromptTemplatefrom langchain_community.embeddings import DashScopeEmbeddingsfrom langchain_community.llms.pai_eas_endpoint import PaiEasEndpoint
# 设置Milvus Collection名称。COLLECTION_NAME = 'doc_qa_db'
# 设置向量维度。DIMENSION = 768
loader = WebBaseLoader(['https://milvus.io/docs/overview.md','https://milvus.io/docs/release_notes.md','https://milvus.io/docs/architecture_overview.md','https://milvus.io/docs/four_layers.md','https://milvus.io/docs/main_components.md','https://milvus.io/docs/data_processing.md','https://milvus.io/docs/bitset.md','https://milvus.io/docs/boolean.md','https://milvus.io/docs/consistency.md','https://milvus.io/docs/coordinator_ha.md','https://milvus.io/docs/replica.md','https://milvus.io/docs/knowhere.md','https://milvus.io/docs/schema.md','https://milvus.io/docs/dynamic_schema.md','https://milvus.io/docs/json_data_type.md','https://milvus.io/docs/metric.md','https://milvus.io/docs/partition_key.md','https://milvus.io/docs/multi_tenancy.md','https://milvus.io/docs/timestamp.md','https://milvus.io/docs/users_and_roles.md','https://milvus.io/docs/index.md','https://milvus.io/docs/disk_index.md','https://milvus.io/docs/scalar_index.md','https://milvus.io/docs/performance_faq.md','https://milvus.io/docs/product_faq.md','https://milvus.io/docs/operational_faq.md','https://milvus.io/docs/troubleshooting.md',])
docs = loader.load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1024, chunk_overlap=0)
# 使用LangChain将输入文档安照chunk_size切分all_splits = text_splitter.split_documents(docs)
# 设置embedding模型为DashScope（可以替换成自己模型）。
embeddings = DashScopeEmbeddings(model="text-embedding-v2", dashscope_api_key="your_api_key")
# 创建connection，host为阿里云Milvus的访问域名。
connection_args = {"host": "c-xxxx.milvus.aliyuncs.com", "port": "19530", "user": "your_user", "password": "your_password"}# 创建Collectionvector_store = Milvus(embedding_function=embeddings,connection_args=connection_args,collection_name=COLLECTION_NAME,drop_old=True,).from_documents(all_splits,embedding=embeddings,collection_name=COLLECTION_NAME,connection_args=connection_args,)
# 利用Milvus向量数据库进行相似性检索。
query = "What are the main components of Milvus?"docs = vector_store.similarity_search(query)print(len(docs))
# 声明LLM 模型为PAI EAS（可以替换成自己模型）。
llm = PaiEasEndpoint(eas_service_url="your_pai_eas_url",eas_service_token="your_token",)
# 将上述相似性检索的结果作为retriever，提出问题输入到LLM之后，获取检索增强之后的回答。
retriever = vector_store.as_retriever()
template = """Use the following pieces of context to answer the question at the end.If you don't know the answer, just say that you don't know, don't try to make up an answer.Use three sentences maximum and keep the answer as concise as possible.Always say "thanks for asking!" at the end of the answer.{context}Question: {question}Helpful Answer:"""rag_prompt = PromptTemplate.from_template(template)
rag_chain = ({"context": retriever, "question": RunnablePassthrough()}| rag_prompt| llm)
print(rag_chain.invoke("Explain IVF_FLAT in Milvus."))

python3 milvusr-llm.py

4IVF_FLAT is a type of index in Milvus that divides vector data into nlist cluster units and compares distances between the target input vector and the center of each cluster. It uses a smaller number of clusters than IVF_FLAT, which means it may have slightly higher query time but also requires less memory. The encoded data stored in each unit is consistent with the original data.

产品动态：