AI知识库 AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


零基础入门:Milvus向量数据库及RAG技巧
发布日期:2024-06-11 08:23:49 浏览次数: 1646

1. Milvus简介

Milvus是一款开源的向量数据库,由 Zilliz 开发并维护,适合用于机器学习和人工智能领域。是一款专为处理向量查询而设计的数据库,Milvus 能够对万亿级向量进行索引。

Milvus官网:https://milvus.io/

Milvus中文文档:https://www.milvus-io.com/

2. Milvus部署

2.1. 环境准备

  • Linux操作系统

  • Docker 19.03 或更高版本

  • Docker Compose 1.25.1 或更高版本

2.1.1. 检查Docker是否安装成功

运行以下命令,检查Docker是否安装成功,安装成功显示版本信息

docker version

运行以下命令,检查Docker Compose是否安装成功,安装成功显示安装的版本信息

docker-compose --version

2.2. 安装Docker

未安装Docker可以按照以下命令安装,以下命令为Ubuntu系统环境命令

2.2.1. 更新系统包

sudo apt update
sudo apt upgrade -y

2.2.2. 安装依赖包

安装一些必要的系统工具和依赖,以便使用HTTPS源进行软件包安装:

sudo apt install apt-transport-https ca-certificates curl software-properties-common

2.2.3. 添加Docker官方GPG密钥

Docker的官方GPG密钥用于验证Docker软件包的来源。

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# root账号使用以下命令
echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null

2.2.4. 更新软件包列表并安装Docker

再次更新软件包列表,然后安装Docker CE(Community Edition):

sudo apt update
sudo apt-get install docker-ce docker-ce-cli containerd.io -y

2.2.5. 启动Docker服务并设置开机启动

安装完成后,启动Docker服务并设置为开机启动:

sudo systemctl start docker
sudo systemctl enable docker

2.2.6. 验证Docker安装

通过运行一个测试容器来验证Docker是否正确安装:

docker run hello-world

如果安装成功,您将看到一条欢迎消息,表明Docker已成功安装并运行了一个测试镜像。

以上步骤完成之后,就已经在Ubuntu Linux系统上成功安装了Docker。

2.2.7. (可选)配置Docker加速器

如果在中国大陆地区,为了加速Docker镜像的下载,可以考虑配置Docker的镜像加速器,如阿里云的镜像加速服务。

登录阿里云账号,找到容器镜像服务

镜像工具->镜像加速器,根据操作文档,配置镜像加速器

2.3. 安装Docker Compose

未安装Docker Compose的可以按照以下命令安装

2.3.1. 下载Docker Compose

使用curl命令下载Docker Compose的二进制文件。

有时候下载速度慢,耐心等待

# v2.16.0
sudo curl -L "https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

# v2.27.0 选择一个版本安装即可
sudo curl -L "https://github.com/docker/compose/releases/download/v2.27.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

2.3.2. 设置执行权限:

sudo chmod +x /usr/local/bin/docker-compose

2.3.3. 创建软链接(可选,但推荐):

sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

2.3.4. 验证安装

docker-compose --version

如果安装成功,这条命令将输出Docker Compose的版本号。

2.3.5. 卸载Docker Compose(可选)

如果需要卸载Docker Compose,可以简单地删除/usr/local/bin/docker-compose文件:

sudo rm /usr/local/bin/docker-compose
sudo rm /usr/bin/docker-compose#删除创建的软连接

2.4. Milvus安装

2.4.1. 创建Milvus工作目录

为Milvus创建一个目录来存储数据和日志。

mkdir milvus-workdir# 创建一个新的工作目录
cd milvus-workdir # 进入工作目录

2.4.2. 下载Docker Compose配置文件

下载适合Milvus版本的Docker Compose配置文件,这里下载的是v2.4.1版本,也可以下载其他版本


wget https://github.com/milvus-io/milvus/releases/download/v2.4.1/milvus-standalone-docker-compose.yml -O docker-compose.yml

2.4.3. 启动Milvus服务

sudo docker-compose up -d

如果运行出现下面这个问题,可以通过设置国内源,解决这个问题。这个是国内网络问题,无法连接到 docker hub。

❗error pulling image configuration: download failed after attempts=6: dial tcp 23.101.24.70:443: connect: connection refused

设置国内源,源地址设置在 /etc/docker/daemon.json 中写入如下内容(如果文件不存在请新建该文件)

{
"registry-mirrors": [
"https://registry.docker-cn.com",
"https://dockerhub.azk8s.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://6kx4zyno.mirror.aliyuncs.com",
"https://hub-mirror.c.163.com",
"https://reg-mirror.qiniu.com"
]
}

重启Docker

sudo systemctl restart docker
或者
service docker restart

检查国内源地址设置是否生效

docker info

生效之后,再次运行启动命令

sudo docker-compose up -d

如果还是失败,就更换一下国内源,多尝试几次

启动成功

2.4.4. 检查Milvus服务是否正常启动:

docker ps

Milvus正常启动,如下图所示

2.4.5. (可选)授权端口号允许外网访问

如果是在云服务器上部署,需要授权端口号允许外网访问。阿里云服务器在安全组,入方向,授权端口 19530 允许访问

2.4.6. (可选)安装Milvus图形界面客户端Attu

Attu为 Milvus 专门开发的图形界面客户端,可以在 https://github.com/zilliztech/attu/releases 找到最新发布版本,找到可执行安装包下载到电脑安装即可使用。

3. Milvus客户端使用

3.1. 安装依赖

在客户端的Python环境中安装pymilvus库,可以通过运行以下命令来安装:

pymilvus安装版本要与Milvus版本相对应

https://milvus.io/api-reference/pymilvus/v2.4.x/About.md

pip install pymilvus

# 建议安装指定版本2.4.1
pip install pymilvus==2.4.1

3.2. 下载示例代码进行测试

使用Python运行Milvus:https://www.milvus-io.com/example_code

下载 hello_milvus.py 直接或使用以下命令

wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.4.1/examples/hello_milvus.py

将示例代码中链接Milvus数据库的localhost改为服务器IP地址

connections.connect("default", host="localhost", port="19530")

改为

connections.connect("default", host="服务器IP", port="19530")

运行 hello_milvus.py

python hello_milvus.py

运行成功,以下是返回的结果和查询延迟:

=== start connecting to Milvus ===

Does collection hello_milvus exist in Milvus: False

=== Create collection `hello_milvus` ===


=== Start inserting entities ===

Number of entities in Milvus: 3001

=== Start Creating index IVF_FLAT===


=== Start loading===


=== Start searching based on vector similarity ===

hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
hit: id: 999, distance: 0.09934989362955093, entity: {'random': 0.9519034206569449}, random field: 0.9519034206569449
hit: id: 1310, distance: 0.10135537385940552, entity: {'random': 0.26669865443188623}, random field: 0.26669865443188623
hit: id: 2999, distance: 0.0, entity: {'random': 0.02316334456872482}, random field: 0.02316334456872482
hit: id: 2502, distance: 0.13083189725875854, entity: {'random': 0.9289998713260136}, random field: 0.9289998713260136
hit: id: 2669, distance: 0.1590736359357834, entity: {'random': 0.6080847854541138}, random field: 0.6080847854541138
search latency = 0.2060s

=== Start querying with `random > 0.5` ===

query result:
-{'embeddings': [0.8367804, 0.20963514, 0.6766955, 0.39746654, 0.8180806, 0.1201905, 0.9467144, 0.6947491], 'pk': '0', 'random': 0.6378742006852851}
search latency = 0.2434s
query pagination(limit=4):
[{'random': 0.6378742006852851, 'pk': '0'}, {'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]
query pagination(offset=1, limit=3):
[{'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]

=== Start hybrid searching with `random > 0.5` ===

hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
hit: id: 999, distance: 0.09934989362955093, entity: {'random': 0.9519034206569449}, random field: 0.9519034206569449
hit: id: 1553, distance: 0.12913644313812256, entity: {'random': 0.7723335927084438}, random field: 0.7723335927084438
hit: id: 2502, distance: 0.13083189725875854, entity: {'random': 0.9289998713260136}, random field: 0.9289998713260136
hit: id: 2669, distance: 0.1590736359357834, entity: {'random': 0.6080847854541138}, random field: 0.6080847854541138
hit: id: 2628, distance: 0.1914074569940567, entity: {'random': 0.940077754658375}, random field: 0.940077754658375
search latency = 0.1999s

=== Start deleting with expr `pk in ["0" , "1"]` ===

query before delete by expr=`pk in ["0" , "1"]` -> result:
-{'random': 0.6378742006852851, 'embeddings': [0.8367804, 0.20963514, 0.6766955, 0.39746654, 0.8180806, 0.1201905, 0.9467144, 0.6947491], 'pk': '0'}
-{'random': 0.43925103574669633, 'embeddings': [0.27875876, 0.95355743, 0.976228, 0.54545516, 0.16776836, 0.82360446, 0.65080017, 0.21096307], 'pk': '1'}

query after delete by expr=`pk in ["0" , "1"]` -> result: []


=== Drop collection `hello_milvus` ===

恭喜!Milvus已在服务器部署成功,客户端可以正常使用

4. RAG

4.1. 使用BCEmbedding编码构建向量索引

国内访问不了huggingface,可以将BCEmbedding下载到本地电脑,下载链接:

https://www.modelscope.cn/models/maidalun/bce-embedding-base_v1/summary

使用Milvus向量数据库相关文档:https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/

安装相关依赖

%pip install --upgrade --quietlangchain_milvus

milvus_insert.py 构建向量索引示例代码:

from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_core.documents import Document
from langchain_community.vectorstores import Milvus

embedding_model_name = './本地文件夹/bce-embedding-base_v1'# 修改为你的模型名称
embedding_model_kwargs = {'device': 'cpu:0'}
embedding_encode_kwargs = {'batch_size': 32, 'normalize_embeddings': True}

# 可以使用Hugging Face的模型
embed_model = HuggingFaceEmbeddings(
model_name=embedding_model_name,
model_kwargs=embedding_model_kwargs,
encode_kwargs=embedding_encode_kwargs
)

if __name__ == "__main__":
# json数据,可以改为从文档中读取数据
text_datas = [
{
"instruction": "请问中医如何治疗瘰疬?",
"input": "",
"output": "中医治疗瘰疬通常采用中药内服和外用结合的方法。具体治疗方案因人而异,以下是一些常用的治疗方法:\n\n1. 清热解毒:使用具有清热解毒功效的中药,如金银花、连翘、黄芩等,可帮助清除毒素和热邪,减轻瘰疬症状。\n\n2. 活血化瘀:使用具有活血化瘀功效的中药,如当归、川芎、红花等,可促进血液循环,加速瘰疬的愈合。\n\n3. 外用贴敷:使用中药贴敷患处,如石膏、黄连、苦参等,可起到消炎、止痛、祛肿的作用。\n\n4. 食疗调理:可选择清淡易消化的食物,如蔬菜、水果、粥等,避免辛辣刺激性食物,同时加强营养,增强身体抵抗力。\n\n需要注意的是,瘰疬属于慢性疾病,治疗过程需要耐心和坚持,同时需避免刺激患处,保持身体清洁,避免感染。最好在专业中医医师的指导下进行治疗。"
},
{
"instruction": "我经常消瘦,最近感觉特别乏力,有什么中药方剂可以推荐一下?要求:1. 请考虑所有症状。2. 请根据中医知识输出一步步的推理过程。",
"input": "",
"output": "首先,根据您描述的症状,消瘦和乏力是比较常见的症状,可能与多种因素有关。为了准确地确定中药方剂的选择,我需要了解更多的细节信息。\n\n1. 您的年龄、性别和身高体重比例是什么?\n\n2. 您的饮食结构如何,有没有厌食、消化不良等症状?\n\n3. 您的睡眠质量如何?有没有失眠或多梦的现象?\n\n4. 您的情绪状态如何?有没有情绪低落、焦虑、烦躁等情况?\n\n5. 您是否有其他症状,如盗汗、头晕、心悸等?\n\n根据中医的理论,消瘦和乏力可能与脾胃虚弱、气血不足、肝肾不足等有关。因此,在选择中药方剂时,需要考虑调补脾胃、益气养血、补肝肾等因素。同时,也需要结合具体病情,选择相应的药材进行配方。\n\n建议您到中医诊所或医院进行详细的中医体检和诊断,以便准确确定病因,选择最适合您的中药方剂。"
}
]
# 编辑数据
docs = []
for i in range(len(text_datas)):
page_content = text_datas[i]['instruction'] + "----------" + text_datas[i]['output']
# new_document = Document(page_content=page_content, metadata={"namespace": "Wind_cold_disease"}) # 考虑多用户,使用 namespace 作为分区键,添加分区
new_document = Document(page_content=page_content)
docs.append(new_document)

vector_db = Milvus.from_documents(
docs,
embed_model,
collection_name="ChineseMedicineKnowledge",
connection_args={"host": "服务器IP", "port": "19530"},
)
print(vector_db)

上述代码中,有两处地方需要根据自己电脑环境调整

1. embedding_model_name = './本地文件夹/bce-embedding-base_v1'    将本地文件夹改为自己电脑下载bce-embedding-base_v1文件夹路径

  1. connection_args={"host": "服务器IP", "port": "19530"}     将服务器IP改为自己部署的服务器ID

调整后,运行代码:

python milvus_insert.py

运行成功如下图所示

如果安装了Attu软件,可以在Attu中看到已添加的向量数据,下图所示:

4.2. 向量搜索

milvus_rag.py 向量搜索示例代码:

from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import Milvus
from langchain_core.documents import Document
import re

# bce-embedding的模型
embedding_model_name = './本地文件夹/bce-embedding-base_v1'# 修改为你的模型名称
embedding_model_kwargs = {'device': 'cpu:0'}
embedding_encode_kwargs = {'batch_size': 32, 'normalize_embeddings': True}


# 使用Hugging Face的模型名称
embed_model = HuggingFaceEmbeddings(
model_name=embedding_model_name,
model_kwargs=embedding_model_kwargs,
encode_kwargs=embedding_encode_kwargs
)

vector_db = Milvus(
embed_model,
connection_args={"host": "服务器IP", "port": "19530"},
collection_name='ChineseMedicineKnowledge',
)

query = "请问中医如何治疗瘰疬?"
docs = vector_db.similarity_search(query)

# # 遍历列表中的每个字典
for document in docs:
# # 打印文档的内容
print("Page Content:")
print(document.page_content)
print("\n\n")

split_string = re.split("----------", document.page_content)
print("content:"+split_string[1])

上述代码中,有两处地方需要根据自己电脑环境调整

1. embedding_model_name = './本地文件夹/bce-embedding-base_v1'    将本地文件夹改为自己电脑下载bce-embedding-base_v1文件夹路径

  1. connection_args={"host": "服务器IP", "port": "19530"}    将服务器IP改为自己部署的服务器ID

调整后,运行代码

python milvus_rag.py

查询出相关信息

可以将查询到的信息,根据需求再做适当的处理

恭喜你!已经学会使用RAG,快去试试吧

如果本文对你有帮助的话,欢迎 点赞&在看&分享,这对我继续分享和创作优质内容是莫大的鼓励,再次感谢?



53AI,大模型落地应用首选服务商

定位:开箱即用的大模型落地应用平台

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

年轻人!来一起搞AI吗?

如果你看见AI对商业世界的变革,欢迎来和我们一起探索~

岗位:销售经理

查看详情

岗位:项目经理

查看详情

岗位:产品经理

查看详情

岗位:测试工程师

查看详情

联系我们

售前咨询
186 6662 7370
产品演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询