我要投稿

本地化大模型接入RagFlow错误记录

发布日期：2025-04-13 05:21:45 浏览次数： 3179

作者：是十三不是四十三

微信搜一搜，关注“是十三不是四十三”

前两天搭建一个RagFlow和基于vLLM框架的QwQ-32B模型，今天尝试把QwQ-32B接入RagFlow，测试一下RagFlow的功能，以及基于它构建Rag模型的效果。结果一堆错

，改了半天，这里记录一下

错误：连不上 connection error

首先确保宿主机是能够连得上大模型的服务的
登录ragflow容器内部测试连接，果然，连接失败

docker exec -it 0b527d272baa  /bin/bash curl -I http://10.10.10.10:8080

怀疑是容器的网络配置有问题，于是检查相关的配置文件 docker-compose-CN-oc9.yml，果然发现问题，在部署ragflow的时候为了避开端口冲突，我把原文件（docker-compose.yml）中的80端口改成了8090，也就是容器的80端口映射到宿主机的8090端口，但是我没改 docker-compose-CN-oc9.yml 中的配置！！！

修改完成后重启Docker服务

sudo systemctl restart docker

重新进入ragflow容器内部验证是否连通

curl -X POST http://10.128.32.23:8080/v1/chat/completions \>   -H "Content-Type: application/json" \>   -d '{>     "model": "QWQ-32B",>     "messages": [{"role": "user", "content": "你好"}]>   }'

顺利连通，到这里本来以为没事了，但是……

还是连不上，我真的天都塌了

继续排查，发现虽然我在部署QwQ-32B的时候比没有设置API-Key，但是在用代码or框架连接的时候这个API-Key必填！！！补充之后，连接成功！

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-06-14

一分钟读懂RAG的切分策略

2025-06-14

RAG-embedding篇

2025-06-14

RAG 信息检索：如何让模型找到‘对的知识’

2025-06-14

什么是RAG？一文搞懂检索增强生成技术

2025-06-14

AI开发实战：解决RAG的召回不准问题

2025-06-13

揭开RAG的神秘面纱：90%的人不知道腾讯IMA底层原理

2025-06-13

金融智脑：破解RAG系统在金融场景中常见失败的七大陷阱

2025-06-13

从零开始学 Dify - Dify 的 RAG 系统如何有效地处理和检索大量文档？

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

通义QwQ-32B+Milvus，消费级显卡布满血大模型与RAG的时代来了！

2025-03-21

RAG检索增强之Reranker重排序模型详解！

2025-03-20

大模型 RAG 终极指南：信息检索 + 文本向量化 + BGE-M3 实践全解析！

2025-03-24

AISearchPro-AI智能搜索实践

2025-03-17

MCP、RAG、Agent之间的概念和关系，被我和AI协作的12张图总结了

2025-03-24

AI Agent 记忆技术浅析

2025-03-19

一个能给大模型加上“记忆”的工具，让 AI 助手更懂你，Star 26K+！

2025-03-24

Ragflow技术栈分析及二次开发指南

2025-03-28

让模型更懂你的业务！RAG原理和解决方案解析

2025-04-01

RAG 开发实例

2025-03-23

大家都在问

从零开始学 Dify - Dify 的 RAG 系统如何有效地处理和检索大量文档？

2025-06-13

通过 RAG如何扩展提示词Prompting?

2025-06-09

为什么 RAG 一定需要 Rerank？

2025-06-06

RAG和向量数据库之间有什么关系?

2025-05-30

超越基础：Agentic Chunking 如何彻底改变 RAG？

2025-05-29

用Milvus构建RAG系统，N8N VS dify 如何选？

2025-05-29

【RAG】给传统企业搞AI转型，RAG项目最难啃的骨头是啥？

2025-05-23

解锁AI时代的核心通关密码——为什么你必须搞懂RAG、Agent、MCP？

2025-05-16

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204

上海：上海市浦东新区金新路58号1602室

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部