我要投稿

Dify 教程二：使用本地大模型 Ollama

发布日期：2024-07-20 12:40:39 浏览次数： 8839

使用 Ollama

还是在设置的弹窗中选择「模型供应商」，这次我们选择 Ollama，以 qwen2:7b 模型为例：

模型名称我们填入 qwen2:7b
基础 URL 填入 http://host.docker.internal:11434
其他选项可以根据自己的需求进行配置，或者也可以保持默认
然后保存即可

回到创建的应用中，在编排页面的右上角切换大模型为 qwen2:7b:

可以看到的，由于是本地大模型，所以响应速度非常快！

知识库配置嵌入模型

因为咱们本次使用 Ollama 来作为 Dify 的 AI 模型，所以在创建知识库时会有一些问题：

这是 因为 Dify 默认的系统 Embedding 模型是 OpenAI 的 text-embedding-3-large ，但是当我们使用本地大模型时，是无法连接到这个模型的，所以我们 还需要再拉取一个 Embeddinng 模型下来，这里以 nomic-embed-text 为例 ：

ollama pull nomic-embed-text

然后在 Ollama 模型设置中选择 Text Embedding：

保存之后，我们可以 修改 Dify 的默认系统模型，点击右上角的「系统默认设置」按钮进行设置 ：

再创建一个新的知识库进行测试：

也可以成功嵌入：

测试应用

接下来我们将刚刚创建的知识库添加到应用中去，并给应用添加提示词。如果不知道怎么编写提示词，还可以点击右上角的自动编排让 AI 帮助我们完成：

点击右下角的「应用」按钮，就会自动为我们添加这些提示词和开场白到应用中了：

我们可以在知识库中添加大量的 K8s 相关的资料，打造一款 K8s 大师应用。是不是很棒?

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-10-13

用Dify搭建企业知识库：5个实战技巧提升检索准确率90%

2025-10-13

Dify接口调用实战指南：从入门到精通的避坑手册，收藏了！

2025-10-12

Dify1.6.0升级1.9.1步骤及踩坑记

2025-10-10

用 Dify 零代码搭建 AI 用研助理，5分钟完成100个虚拟用户调研

2025-09-30

重大消息，刚刚Dify 1.9.1发布了！我们聊聊带来了哪些吸引人的功能特性？

2025-09-26

内网环境下Dify1.9.0版本镜像构建过程记录

2025-09-23

刚刚Dify 1.9.0正式发布，快看看有哪些新变化？

2025-09-17

全网首发Dify Nano Banana工作流

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Dify 2.0 重磅升级！知识管道登场，RAG 开发效率直接翻倍

2025-09-16

从0到1精通Dify二次开发：5大实战场景+避坑指南

2025-09-03

全网首发！Dify 2.0.0 图文混排上线，每个新功能都是爆款！附实战教程（建议收藏）

2025-09-06

5 分钟搭建你的 AI 应用-Dify 全流程指南

2025-08-19

Dify调用firecrawl工具扒取单网页信息的工作流各节点设置逐项解析

2025-07-17

别卷了！用 Dify 搭建你的专属 AI 数据分析报告助手

2025-07-18

Dify v1.7.0重磅发布：OAuth 2.0+插件自动升级，这次更新强势利好插件生态！

2025-07-24

Dify 技术文档工程实践：如何构建面向 AI 时代的知识系统？

2025-07-30

刚刚Dify 1.9.0正式发布，快看看有哪些新变化？

2025-09-23

Dify实战：10分钟打造批量文档总结神器

2025-09-02

大家都在问

重大消息，刚刚Dify 1.9.1发布了！我们聊聊带来了哪些吸引人的功能特性？

2025-09-30

刚刚Dify 1.9.0正式发布，快看看有哪些新变化？

2025-09-23

Dify v2.0.0-beta.1悄悄的来啦！看看有哪些大更新？

2025-09-06

Dify 1.8.1发布了，看看带来了哪些变化？

2025-09-05

Dify 1.8.0 实测：多模型管理、MCP OAuth、异步存储，真升级还是鸡肋?

2025-08-29

Dify功能解析四：Dify父子模式分段解决普通分段的什么问题？

2025-08-18

拆解 Dify 节点：搭建 AI 应用，这些 “积木” 怎么用？

2025-08-02

Dify 技术文档工程实践：如何构建面向 AI 时代的知识系统？

2025-07-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部