我要投稿

Dify 教程二：使用本地大模型 Ollama

发布日期：2024-07-20 12:40:39 浏览次数： 8709

使用 Ollama

还是在设置的弹窗中选择「模型供应商」，这次我们选择 Ollama，以 qwen2:7b 模型为例：

模型名称我们填入 qwen2:7b
基础 URL 填入 http://host.docker.internal:11434
其他选项可以根据自己的需求进行配置，或者也可以保持默认
然后保存即可

回到创建的应用中，在编排页面的右上角切换大模型为 qwen2:7b:

可以看到的，由于是本地大模型，所以响应速度非常快！

知识库配置嵌入模型

因为咱们本次使用 Ollama 来作为 Dify 的 AI 模型，所以在创建知识库时会有一些问题：

这是 因为 Dify 默认的系统 Embedding 模型是 OpenAI 的 text-embedding-3-large ，但是当我们使用本地大模型时，是无法连接到这个模型的，所以我们 还需要再拉取一个 Embeddinng 模型下来，这里以 nomic-embed-text 为例 ：

ollama pull nomic-embed-text

然后在 Ollama 模型设置中选择 Text Embedding：

保存之后，我们可以 修改 Dify 的默认系统模型，点击右上角的「系统默认设置」按钮进行设置 ：

再创建一个新的知识库进行测试：

也可以成功嵌入：

测试应用

接下来我们将刚刚创建的知识库添加到应用中去，并给应用添加提示词。如果不知道怎么编写提示词，还可以点击右上角的自动编排让 AI 帮助我们完成：

点击右下角的「应用」按钮，就会自动为我们添加这些提示词和开场白到应用中了：

我们可以在知识库中添加大量的 K8s 相关的资料，打造一款 K8s 大师应用。是不是很棒?

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-07

Dify发布页面用户鉴权方案讨论

2025-09-06

全网首发！Dify 2.0.0 图文混排上线，每个新功能都是爆款！附实战教程（建议收藏）

2025-09-06

Dify 参数提取器用法剖析

2025-09-06

Dify 夏日更新速递｜功能概览

2025-09-06

夏日终章，Dify 放出“解暑大招”——v1.7→v1.8 升级包，专治各种“流程便秘”！

2025-09-06

Dify v2.0.0-beta.1悄悄的来啦！看看有哪些大更新？

2025-09-05

Dify 1.8.1发布了，看看带来了哪些变化？

2025-09-04

Dify发布了V1.8.1版本，专注于提升稳定性、性能和开发者体验，解决部分关键问题，让我们一起来看看吧！

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

53AI Studio：高准确率是企业级AI应用的“终局之选”

2025-06-25

基于Dify平台实现推荐问题点击交互功能的技术方案

2025-06-30

DifyAI关键技术深度剖析

2025-06-29

Dify MCP 保姆级教程来了！

2025-06-24

一文了解dify如何支持多agent架构

2025-07-02

提升 Dify 集成 MCP 便利性与 Prompt 迭代效率的实践

2025-06-26

实操修改Dify服务端口设置

2025-06-25

Dify 1.6.0 重磅上线：原生MCP 双向集成、结构化输出升级！

2025-07-11

dify 1.4.3版本深度解析：全面优化与功能增强指南

2025-06-17

5 分钟搭建你的 AI 应用-Dify 全流程指南

2025-08-19

大家都在问

Dify v2.0.0-beta.1悄悄的来啦！看看有哪些大更新？

2025-09-06

Dify 1.8.1发布了，看看带来了哪些变化？

2025-09-05

Dify 1.8.0 实测：多模型管理、MCP OAuth、异步存储，真升级还是鸡肋?

2025-08-29

Dify功能解析四：Dify父子模式分段解决普通分段的什么问题？

2025-08-18

拆解 Dify 节点：搭建 AI 应用，这些 “积木” 怎么用？

2025-08-02

Dify 技术文档工程实践：如何构建面向 AI 时代的知识系统？

2025-07-30

万字演讲：Dify 插件如何助力 AI Agent 应用开发？

2025-06-26

万字演讲：Dify 插件如何助力 AI Agent 应用开发？

2025-06-17

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部