微信扫码
添加专属顾问
我要投稿
还是在设置的弹窗中选择「模型供应商」,这次我们选择 Ollama,以 qwen2:7b
模型为例:
模型名称我们填入 qwen2:7b
基础 URL 填入 http://host.docker.internal:11434
其他选项可以根据自己的需求进行配置,或者也可以保持默认
然后保存即可
回到创建的应用中,在编排页面的右上角切换大模型为 qwen2:7b
:
可以看到的,由于是本地大模型,所以响应速度非常快!
因为咱们本次使用 Ollama 来作为 Dify 的 AI 模型,所以在创建知识库时会有一些问题:
这是 因为 Dify 默认的系统 Embedding 模型是 OpenAI 的 text-embedding-3-large
,但是当我们使用本地大模型时,是无法连接到这个模型的,所以我们 还需要再拉取一个 Embeddinng 模型下来,这里以 nomic-embed-text
为例 :
ollama pull nomic-embed-text
然后在 Ollama 模型设置中选择 Text Embedding
:
保存之后,我们可以 修改 Dify 的默认系统模型,点击右上角的「系统默认设置」按钮进行设置 :
再创建一个新的知识库进行测试:
也可以成功嵌入:
接下来我们将刚刚创建的知识库添加到应用中去,并给应用添加提示词。如果不知道怎么编写提示词,还可以点击右上角的自动编排让 AI 帮助我们完成:
点击右下角的「应用」按钮,就会自动为我们添加这些提示词和开场白到应用中了:
我们可以在知识库中添加大量的 K8s 相关的资料,打造一款 K8s 大师应用。是不是很棒?
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-08-15
4000字长文:使用dify搭建SOP检索问答Agent
2025-08-14
效率与安全双飞跃!Dify v1.7.2 上线:全新升级工作流关系面板、节点搜索、API 版本指定与多项安全优化,支持一键部署
2025-08-13
Dify v1.7.2版本更新:工作流可视化和节点搜索,让你更加快捷地玩转工作流!
2025-08-13
Dify结合Minio文件解析生成思维导图
2025-08-11
DIFY实现prometheus历史告警结合实时数据进行分析
2025-08-08
小试牛刀-Dify中迭代器组件
2025-08-06
Dify 1.7.0升级全过程展示,工作流中去除模型思考内容 | Dify代码执行节点的使用方式
2025-08-05
解锁Dify功能三:四个小技巧带你飞
2025-06-04
2025-06-25
2025-05-29
2025-06-03
2025-06-02
2025-05-19
2025-06-29
2025-05-22
2025-06-05
2025-06-24
2025-08-02
2025-07-30
2025-06-26
2025-06-17
2025-05-29
2025-05-28
2025-05-22
2025-04-27