我要投稿

搭建一个本地AI知识库需要用到哪些技术栈？

发布日期：2025-01-06 19:12:36 浏览次数： 2869

作者：测试蔡坨坨

微信搜一搜，关注“测试蔡坨坨”

随着AI热度愈发火热，越来越多的产品在AI的“赋能”下不断革新和进化。

AI技术的飞速发展不仅改变了人们的生活方式，也大大提升了各行各业的生产效率和创新能力。

在此背景下，我们不妨自己动手丰衣足食，搭建一套属于自己的本地的AI ChatBot？顺便学习下“高大上”的AI技术，亲身体验和把握这股“科技潮流”？

本篇，我们将通过全局的视角来看一下 “基于本地上传的文档进行QA问答” 类似的案例，需要学习哪些知识点以及会用到哪些技术栈。

框架

目前，根据我所了解到的知识，市面上深层次的ChatBot主流实现框架基本都是大同小异。

本地大模型 + LangChain + 前端界面

结合RAG框架：上传本地文件 + 文件切片 + Embedding向量编码 + LLM大语言模型

整体流程图

doc flow 文档处理流程

首先，从本地加载文档（upload & loader），比如：pdf、txt、csv、md等
从许多不同来源加载文档，LangChain提供了100多种不同的文档加载器。
加载完成后，对文档进行处理，提取文档信息
提取完文档信息后，进行文本切分

为什么要切分文本？
因为有时候我们的文档内容比较多，比如一本书，这种情况下不可能一次性去处理，就需要将文本切成一块一块的，分块处理。
如何进行合理切分？
我们通常希望将主题相同的文本片段放在一块。例如，Markdown文件是由h1、h2、h3等多级标题组织的，我们可以根据Markdown标题分割文本内容，把标题相同的文本片段组织在一块。借助LangChain的MarkdownHeaderTextSplitter文本切割器实现。

文档切割后得到文本块
对切割完成后的文本块进行Embedding向量编号
Embedding这里我们会用到很多模型，比如可以调用OpenAI的接口（收费），还可以用HuggingFaceHub（免费）等。
将所有文本的编码全部存储到向量数据库中
例如：Faiss、Pinecone、Chroma、Milvus等。

token flow 用户提问&AI回答

用户进行提问，输入一个问题
对用户输入的问题进行Embedding编码
将用户输入的向量与数据库中所有的向量进行相似性计算，即用户的提问跟数据库里哪些文本的相关性最高
文本召回，把达到某一个阈值的相关文本全部召回
将召回的文本结合问题，形成一个上下文的模板
基于上下文模板向大模型LLM提问
获取到我们想要的答案

优点

这种实现方式有什么好处呢？

我们可以让大语言模型在回答问题的时候是基于我们提供的文档范围去回答，减少AI幻觉，避免一本正经的胡说八道。
大语言模型可能信息更新不及时，基于我们提供的文档去回答，也解决了信息不及时的问题。

以上，完。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-12

关于动态本体的一些新思考及多模态知识图谱构建思路VisKnow

2025-12-11

案例：Palantir AIP如何教Agent学会记忆

2025-12-10

为AI奠定知识根基：为什么每个项目都需要知识图谱

2025-12-09

在“最优复杂性”中寻找极简之道——解读Palantir 本体论的实战哲学

2025-12-08

本体论：从数据中发现意义

2025-12-05

构建本体驱动的下一代智能数字生态系统

2025-12-04

基于 Ontology 构建企业 Agent 根基：从理论到实践的技术路径 V2.0

2025-12-04

Palantir - 全球大数据与AI领域市值最高的公司-产品核心技术

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

怎么使用Graph Maker 将文本转换为知识图谱

2025-09-17

一篇文章讲清楚：Ontology为什么是企业落地Agent的关键

2025-10-30

文档级知识图谱: RAKG(95.91%) VS GraphRAG(89.71%)

2025-10-19

AI赋能—大模型搭建知识库

2025-09-20

企业级AI独角兽Glean揭秘知识图谱增强大模型：企业AI的关键基石，重新定义智能系统的上下文理解

2025-11-05

DeepSeek V3.2 AI辅助-构建可视化多维知识立方体展示知识体系

2025-10-21

大模型落地最后一公里：为什么企业必须重构对“本体（Ontology）”的认知？

2025-12-01

用 AI 重塑阅读体验，将任何书籍转化为可交互的知识图谱

2025-10-13

让企业级大模型落地：每个企业 AI项目都需要的知识图谱KG基础

2025-11-24

Spring AI Alibaba Graph升级至1.0.0.4，流式输出演进说明

2025-09-29

大家都在问

大模型落地最后一公里：为什么企业必须重构对“本体（Ontology）”的认知？

2025-12-01

文档知识图谱构建：AI代理如何简化复杂流程？

2025-07-29

如何搭建Agent的知识库底座？

2025-07-14

如何为客户数据构建语义视图？

2025-06-14

Agent Infra 图谱：哪些组件值得为 Agent 重做一遍？

2025-05-23

Graph-RAG全面综述：如何用知识图谱+大模型解决信息检索难题？

2025-05-23

无需代码！MCP + Neo4j 如何颠覆知识图谱构建？

2025-05-22

AI搜索与向量数据-模型是如何将信息和数据编码成知识的？

2025-05-20

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部