微信扫码
添加专属顾问
我要投稿
本文介绍了通过 Docker 安装 Dify,然后集成 Ollama 和 XInference,并利用 Dify 快速搭建一个基于知识库问答的应用。
一、Dify 简介
二、Dify 安装
三、Dify 添加Ollama模型问答
四、Dify 基于知识库问答
五、文档链接
Dify 是一款开源的大语言模型(LLM)应用开发平台,旨在帮助开发者快速构建和部署生成式 AI 应用。以下是 Dify 的主要功能和特点 [1]:
拷贝 Dify Github代码到本地 [2]。
git clone https://github.com/langgenius/dify.git
进入 dify 源代码的 docker 目录,拷贝环境变量。
cd dify/docker
cp .env.example .env
通过docker compose安装应用。
docker compose up -d
进入ollama容器,启动qwen2:7b
模型。
root@ip-172-31-30-167:~/dify/docker# docker pull ollama/ollama
root@ip-172-31-83-158:~/dify/docker# docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always -e OLLAMA_KEEP_ALIVE=-1 ollama/ollama
root@ip-172-31-83-158:~/dify/docker# docker exec -it ollama bash
root@b094349fc98c:/# ollama run qwen2:7b
通过EC2的公网IP地址加上80端口,登录Dify主页,创建管理账户。
通过管理员账号登录。
点击用户-设置。
添加Ollama模型。
添加qwen2:7b
模型,因为Ollama是在本机启动,所以设置URL为本地IP地址,端口为114341
,
“qwen2-7b-instruct 利用YARN(一种增强模型长度外推的技术)支持 131,072 tokens上下文,为了保障正常使用和正常输出,建议API限定用户输入为 128,000 ,输出最大 6,144。[3]
”
点击 工作室-创建空白应用
创建“聊天助手”类型的应用,设置应用名称为Qwen2-7B
,点击创建。
为应用设置提示词"你是一个人工智能助手",可以和Qwen2:7B
进行对话测试,这里是和大模型本身进行对话,没有引入外部的知识库,后续会引入知识库比较回答的结果。
添加Xorbits Inference
提供的模型。
添加Text Embedding
,即文本嵌入模型,模型的名称为bge-m3
,服务器URL为http://172.31.30.167:9997
(这里是本机的IP,也可以安装在其他机器,网络和端口可达即可),已经提前在本机上启动了XInference,并且启动了bge-m3
模型(参考上一篇文章)。
添加Rerank
,即重排模型,模型的名称为bge-reraker-v2-m3
,服务器URL为http://172.31.30.167:9997
(这里是本机的IP,也可以安装在其他机器,网络和端口可达即可),已经提前在本机上启动了XInference,并且启动了bge-reraker-v2-m3
模型(参考上一篇文章)。
查看系统默认设置。
点击“知识库”-“导入已有文本”-“上传文本文件”-选择《促进和规范数据跨境流动规定》的文档。
导入成功后,设置文本检索方式,开启Rerank
模型,选择bge-reranker-v2-m3
模型,开启默认的Score
阈值为0.5(即文本匹配度低于0.5分时,不会召回,不会添加到大模型的上下文中)。
在之前的聊天应用中,添加上面创建的知识库,重新询问大模型相同的问题,可以看到模型结合知识库进行了回答。
可以点击“Prompt日志”,查看日志文件,可以查看系统提示词,将匹配的知识库内容放在了<context></context>
中。
点击创建的知识库-点击“召回测试”,可以输入一段文本,用与匹配知识库中的文本,匹配到的文本有一个权重分数,上面设置过的阈值是0.5,即大于这个分数的才会显示为“召回段落”。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-07-31
Dify知识库新手初体验行业知识库
2025-07-30
Dify 技术文档工程实践:如何构建面向 AI 时代的知识系统?
2025-07-30
零改造实现 DIFY 性能提升 10 倍的一次实践
2025-07-30
dify 1.7.1版本全面解析:新特性、改进与升级指南
2025-07-28
Dify内心:Coze开源只是太监版本,我一点都不慌!
2025-07-25
Dify 1.7.0重磅更新:基于支持OAuth认证功能的插件开发GitHub智能体
2025-07-24
Dify v1.7.0重磅发布:OAuth 2.0+插件自动升级,这次更新强势利好插件生态!
2025-07-20
用Dify,让Excel数据秒变趋势图,AI Agent来助力!
2025-06-04
2025-06-25
2025-06-03
2025-05-08
2025-05-08
2025-05-29
2025-06-02
2025-05-19
2025-06-29
2025-05-22
2025-07-30
2025-06-26
2025-06-17
2025-05-29
2025-05-28
2025-05-22
2025-04-27
2025-04-15