AI知识库 AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


xinference + dify + ollama 构建本地知识库
浏览次数: 1599

windows 安装conda

1. 下载安装包

https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Windows-x86_64.exe

2. 安装

双击安装包,一路下一步

3. 配置环境变量

系统->高级系统设置->环境变量->系统变量->Path->添加D:\Anaconda3D:\Anaconda3\ScriptsD:\Anaconda3\Library\bin

4. 验证

conda --version

5. 镜像源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/  conda config --set show_channel_urls yes

6. 创建虚拟环境

conda create -n xinference python=3.11.0

7. 激活虚拟环境

conda activate xinference

8. 退出虚拟环境

conda deactivate

9. 删除虚拟环境

conda remove -n xinference --all

10. 查看虚拟环境

conda env list

11. 配置pytouch

# 安装pytorchhttps://pytorch.org/get-started/locally/
# nvidiaconda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
# pip3 推荐这个pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
# cpuconda install pytorch torchvision torchaudio cpuonly -c pytorchconda install scikit-learn

12. 验证pytocuh是否启用gpu

import torchprint(torch.cuda.is_available())
# 如果返回True则说明启用了gpu# 如果返回False则说明没有启用gpu 需要去卸载组件# 1.卸载torch在conda的目录\anaconda3\Lib\site-packages下,找到torch和torch-2.2.1.dist.info两个文件夹删除# 2. 重新安装pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

13. 安装cahtglm-cpp

# 选择版本https://github.com/li-plus/chatglm.cpp/releases# 下载https://github.com/li-plus/chatglm.cpp/releases/download/v0.3.1/chatglm_cpp-0.3.1-cp311-cp311-win_amd64.whl# 安装pip3 install chatglm_cpp-0.3.1-cp311-cp311-win_amd64.whl


安装 xinference

# 官网https://github.com/xorbitsai/inference
# 执行命令pip3 install xinference['all']

1. 验证xinference 中如果遇到了cmake相关的错误

# 打开visualstudio官网https://visualstudio.microsoft.com/zh-hans/# 下载https://visualstudio.microsoft.com/zh-hans/thank-you-downloading-visual-studio/?sku=Community&channel=Release&version=VS2022&source=VSLandingPage&cid=2030&passive=false# 安装双击安装包,一路下一步# 点开选项勾选Desktop development with C++使用C++桌面开发# 安装

2. 启动xinference

# 启动xinference 记得修改ip和端口 ip为本地局域网ipxinference-local --host 192.168.50.123 --port 9997
# 访问xinferencehttp://192.168.50.123:9997

3. 配置xinference

# model的默认路C:\Users\guoya\.xinference
# 配置几个本地model的路径C:\Users\guoya\.xinference\rerank-modelC:\Users\guoya\.xinference\llm-modelC:\Users\guoya\.xinference\embedding-model
# 配置几个本地model的路径http://192.168.50.123:9997/ui/#/register_model找到Model Path 填写上面的路径即可

4. 配置xinference model

# 选择LLM model找到model 点击,出现小火箭,填写上 model id  这个你自己的定义即可# 注意不要选择cpu

5. 下载过程:

6. 启动 Embedding 模型 :

7. 启动 Rerank 模型:

安装dify

1. 系统要求

在安装 Dify 之前,请确保您的机器满足以下最低系统要求:CPU >= 2 Core RAM >= 4GB

2. 快速启动

启动 Dify 服务器的最简单方法是运行我们的 docker-compose.yml 文件。在运行安装命令之前,请确保您的机器上安装了 Docker 和 Docker Compose:

git clone  https://github.com/langgenius/dify.gitcd dockerdocker compose up -d

运行后,可以在浏览器上访问 http://localhost/install 进入 Dify 控制台并开始初始化安装操作。

3. 配置 LLM MODEL

4. 配置 EMBEDDING MODEL

5. 配置 RERANK MODEL

6. 创建知识库

7. 创建应用

8. 测试模型

本地知识库所需要准备

1. 所需模型

类型 平台 模型
LM MODEL ollama  gemma:7b-instruct
EMBEDDING MODEL ollama  gemma:7b-text
RERANK MODEL xinference  bge-reranker-large

2. 所需要测试数据源

书籍资源池可以自行下载

https://docs.qq.com/sheet/DVHpJVmRhT3ViV09Q?tab=1nylx9  

《剑神一笑》作者:古龙

剑与剑神剑,是一种武器,也是十八般兵器之一。可是,它和其他任何一种武器都不一样,我们甚至可以说,它的地位和其他任何一种武器,都有一段很大的距离。武器最大的功用只不过是杀人攻敌而已。剑却是一种身分和尊荣的象征,帝王将相贵族名士们,都常常把剑当作一种华丽的装饰。这一点已经可以说明剑在人们心目中的特殊地位。更特殊的一点是,剑和儒和诗和文学也都有极密切的关系李白就是佩剑的。他是诗仙,也是剑侠。他的剑显然不如诗。所以他仅以诗传,而不以剑名。在中国古代,第一位以剑术留名的人,恰巧也姓李。大李将军的剑术,不但令和他同一时代的人目眩神迷,叹为现止,也令后代的人对他的剑法产生出无穷的幻想。可是真正第一个把“剑”和“神”这两个字连在一起说的人,却是草圣张旭。张旭也是唐诗人,在李肇的《国史补》中有一段记载。旭言:我始闻公主与担夫争路,而得笔法之意;后见公孙氏舞剑器而得其神。有人说剑器并不是一种剑,而是一种舞。也有人说剑器是一种系彩带的短剑,是晋唐时,女子用来作舞器的。可是也有人说它是一种武器。关于这些,金庸先生和我在书信中论过,连博学多闻如金庸先生,也不能做一个确切的结论。远在晋唐间,这一类的事,如今大都已不可考,各家有各家之说,其说不可定。我们只能说,如果剑器也是剑的一种,那么,公孙大娘无疑是被人称作“剑神”的第一人。这或者也是“神剑”这两个字的由来。剑神与剑仙能够被人称为剑神的人,除了他的剑术已经出神入化之外,还要有一些必要的条件。那就是他的人格和人品。因为剑在武器中地位是独特而超然的,是不同于凡俗的。所以,一个人如果能被人称为剑神,那么他的人品和人格也一定要高出大多数人很多。能够达到这种条件的人就当然不会多了,每隔三、五百年,也不过只有三、五人而已。就算在被别人视为最荒诞不经的武侠小说中,这种人都不太多。在比较严谨一点的作品里,这种人更少之又少。因为“剑神”是和“剑仙”不同的,在武侠小说中剑仙就比较多得多了。尤其是在当年“还珠楼主”、“平江不肖生”甚至在“朱贞木”的武侠小说中,都时常会有很多剑仙出现,都能以气御剑,御剑杀人于千里之外。只不过他们都不是剑神。因为他们都缺少一股气,一股傲气。总觉得要作为一位剑神,这股傲气是绝对不可缺少的,就凭着这股傲气,他们甚至可以把自己的生命视如草芥。因为他们早已把自己的生命奉献给他们所热爱的道。他们的道就是剑。他们既不求仙也不求佛,人世间的成败名利,更不值他们一顾,更不值他们一笑。他们要的只是他们那一剑挥出时的尊荣与荣耀,在他们来说那一瞬间就已是永恒。为了达到这一瞬间的颠峰,他们甚至可以不惜牺牲一在武侠小说的世界中,有几个人够资格被称为剑神。我不敢妄自菲薄,我总认为西门吹雪可以算是其中的一个剑神之笑西门吹雪也是一个有血有泪有笑的人,也有人的各种情感,只不过他从来不把这种情感表达出来而已。他可以单骑远赴千里之外,去和一个绝顶的高手,争生死于瞬息之间,只不过是为了要替一个他素不相识的人去复仇伸冤。可是如果他认为这件事不值得去做,就算是他在这个世界上唯一的朋友,陆小凤去求他,他也不去。他甚至还有一点幽默感。有一次,他心里明明顾意去替陆小凤做一件事,可是偏偏还要陆小凤先剃掉那两条不像胡子却像眉毛的胡子。总而言之,这个人是绝对令人无法揣度,也无法思阿。这个人的剑平生从未败过要练成这种不败的剑法,当然要经过别人所无法想象艰苦锻练。要养成这种孤高的品格,当然也要经过一段别无法想象的艰苦历程。往事的辛酸血泪困苦艰难,他从未向别人提起过,别当然不会知道。可是每个人都知道一件事,西门吹雪从来不笑。一个有血肉情感的人,怎么会从来不笑?难道他真的来没有笑过?我不相信。至少我就知道他曾经笑过一次,在一件非常奇妙的事中,一种非常特殊的情况下,他就曾经笑过一次。我一直希望能够把这次奇妙的事件写出来,因为我相无论任何人看到这件事之后,也都会像西门吹雪一样,忍住要笑一笑。能够让大家都笑一笑,大概就是我写作的两大目的之。赚钱当然是我另外的一大目的。

总结:

不尽如人意,但是能玩儿。

如果文章对你有帮助,欢迎点击下方关注我,记得星标哦~
长按扫码加我个微,加入[ LLM 落地实战群]一起探讨AI前沿知识。



推荐新闻

联系我们

售前咨询
186 6662 7370
产品演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询