我要投稿
微信搜一搜，关注“焊接新视野”
01
前言
最近一直在打磨自己的焊接本地知识库和RAG问答，LLM的回答时而惊艳，时而气人，总的来说还是蛮有意思的。不过时间长了，慢慢觉得答案有点单调，原因很简单，就是无图！
02
方法
在B站上看到UP主—“崩坏的领航员”提供的方法，就是对知识库动手脚，比如特意添加一条，内容上则是图的相关信息或者标题，然后在辅助数据中按照MARKDOWN的规则，将图片的URL写进去，这样在问答时，URL就会作为答案进行输出。因为FastGPT的界面本来采用的就是MARKDOWN的形式，所以界面内会自动显示图片。
自行操作的时候，我发现对于建立本地知识库而言，FastGPT原本就提供了相关的功能。
在上传文件建立知识库时，FastGPT会将文档中的图片自动上传到本地服务器上（我猜的），同时给每一张图片进行自动命名。
以文档中第一张图片为例，它在知识库中的标记是“/api/system/img/661a45aa5117439f22da7f61”，在确认建库后，在浏览器中输入“localhost:3000/api/system/img/661a45aa5117439f22da7f61”便可以直接查看该图片。
因此，一旦检索到的知识库里包含图片标记，同时提示词里包含“图片需求”，知识库里的图片标记就会被LLM揉合进答案里，同时自然呈现在回答的界面里。
03
问题
其实上面的方法是误打误撞发现的，因为起初多次尝试时，图片并没有显示，主要原因还是LLM对图片标记处理的过程并不稳定，容易出现以下问题：
（1）图片URL并不是上述基于fastgpt3000端口的，而是LLM胡诌的，或者说基于知识库的内容改编出来的。由于图片标记只是一个相对路径，所以LLM很容易把握不住。
（2）图片URL由i.imgur.com打头，后面有时跟着知识库里的标记号，有时是其它编号，反正很奇怪。
（3）即使图片可以正常显示，但当知识库中的图片标记较多时，会出现图片混乱显示的情况，尤其是图片和标题离得较远时，LLM会“借机发挥”，多出图，出错图。
04
对策
目前想到的一个方法是将word文档中的图片提取出来，然后自己重建立一个虚拟服务器，从而将图片地址URL化，然后再把URL导入原始word，这样在生成知识库时，图片地址和原文、用户问题可以建立更强的语义相关度，既可以保证图片的显示，同时也可以尽可能地避免图片的错误显示。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-06-14
什么是RAG？一文搞懂检索增强生成技术
2025-06-14
AI开发实战：解决RAG的召回不准问题
2025-06-13
揭开RAG的神秘面纱：90%的人不知道腾讯IMA底层原理
2025-06-13
金融智脑：破解RAG系统在金融场景中常见失败的七大陷阱
2025-06-13
从零开始学 Dify - Dify 的 RAG 系统如何有效地处理和检索大量文档？
2025-06-13
大模型：多种RAG组合优化（langchain实现）
2025-06-12
深入使用 Deep Research 后，我确信 RAG 的未来是 Agent
2025-06-12
从传统 RAG 到知识图谱 + Agent，知识库 AI 问答成功率终于达到 95% 了，来自蚂蚁集团的经验
2025-03-21
2025-03-20
2025-03-24
2025-03-17
2025-03-24
2025-03-19
2025-03-24
2025-03-28
2025-04-01
2025-03-23
2025-06-13
2025-06-09
2025-06-06
2025-05-30
2025-05-29
2025-05-29
2025-05-23
2025-05-16
回到顶部
粤ICP备17114055号