打造你的企业级智能文档问答系统——Everything plus RAG 实战指南

从零开始，用开源技术搭建一个能"读懂"文档的智能问答系统

大家好,我是铭毅天下。今天给大家分享一个非常实用的项目——Everything plus RAG 智能文档问答系统。

相信大家的电脑上都安装了 Everything，一个磁盘文件快速查找桌面级应用软件。

一直以来，我都有个想法，能否做一个 plus 版本，支持文档的全文检索和智能问答？！这个想法萌芽已久，且和同事、朋友做过多次讨论。

近期，终于腾出空来，把它实现了。

直接上效果视频。

这个系统解决了我们工作中一个常见的痛点——如何从海量文档中快速找到最准确答案?

unsetunset一、为什么需要这样一个系统?unsetunset

先说说我遇到的问题。作为技术人,手头总有大量的文档:

• 技术文档、API 手册堆积如山
• 项目笔记、会议记录散落各处
• 代码文件、配置文件数不胜数

传统的解决方案有两种:

方案一:全文搜索(如 Elasticsearch、国产化Easysearch 等)

• 优点:速度快,能精确匹配关键词

• 缺点:不理解语义,搜"如何启动"找不到"怎么运行"

方案二:直接问 ChatGPT、Claude、DeepSeek、豆包等 AI 工具

• 优点:理解能力强,回答自然

• 缺点:容易"胡说八道",给出的答案可能根本不在你的文档里

那么,能不能结合两者的优点,既快速检索又智能理解,还能保证答案可靠呢?

答案是:

可以!

这就是我今天要分享的 RAG(检索增强生成) 技术。

RAG 不是新技术，咱们之前的文章有过多次分享，详见如下：

基于 Qwen2.5-14B + Elasticsearch RAG 的大数据知识库智能问答系统

【视频】基于大模型 与 Elasticsearch 的知识库智能问答 RAG 系统

漫画 Elasticsearch RAG

大白话解读什么是 RAG（检索增强生成）技术？

【视频】有道云笔记增强 RAG 检索 + 智能 AI 助手实战

建议先看完再看后续的内容会更好理解。

unsetunset二、什么是 RAG?一个形象的比喻unsetunset

把 RAG 想象成一场"开卷考试":

传统 AI(闭卷考试)
学生(AI): 凭记忆答题
问题: 可能记错、编造答案

RAG(开卷考试)
学生(AI): 先翻书找相关内容,再基于书本回答
优势: 答案有据可查,准确可靠

RAG 的核心流程只有三步:

1. 检索(Retrieval): 从文档库找相关内容
2. 增强(Augmented): 把找到的内容提供给 AI
3. 生成(Generation): AI 基于这些内容生成答案

简单吧！但要做好,还有很多技术细节。

unsetunset三、系统架构:三层设计,清晰明了unsetunset

Everything plus 采用经典的三层架构:

技术栈选型原则:全部开源,零成本部署

• 后端: Python + Flask(轻量级)
• 检索引擎: Elasticsearch 9.x / Easysearch 2.0.0+(支持向量检索)
• 向量模型: Sentence-Transformers(开源)
• LLM: DeepSeek/Ollama(国产/本地)
• 数据库: MySQL(用户管理)

unsetunset四、核心技术解密:混合检索是关键unsetunset

4.1 为什么需要"混合检索"?

单纯用关键词检索或向量检索都有局限:

解决方案:混合检索 = BM25 + 向量检索

举个例子:

问题: "如何配置数据库连接?"

BM25 检索结果:
- 文档A: "配置数据库连接的方法..."  (精确匹配)
- 文档B: "database connection config"  (英文匹配)

向量检索结果:
- 文档C: "设置 MySQL 链接参数..."  (语义相似)
- 文档D: "数据库初始化步骤..."  (相关内容)

融合后: A(最相关) > C > B > D

4.2 RRF 融合算法:简单但有效

两种检索结果如何合并?这里用到 RRF(倒数排名融合) 算法:

# 核心公式
RRF_score = 1/(k + rank1) + 1/(k + rank2)

# 例子
文档A: rank1=1, rank2=3
      score = 1/(60+1) + 1/(60+3) = 0.0164 + 0.0159 = 0.0323

文档B: rank1=5, rank2=1  
      score = 1/(60+5) + 1/(60+1) = 0.0154 + 0.0164 = 0.0318

关键思想:同时出现在两个结果列表中的文档,得分会更高

4.3 查询重写:一个问题变三个

用户的问题往往很简短,直接检索效果不好。系统会自动生成多个查询变体:

原始查询: "系统怎么用"

自动重写为:
1. "系统怎么用 详细说明"  
2. "什么是 系统怎么用"
3. "系统怎么用 步骤"

# 每个变体都去检索,结果再融合
# 这样可以找到更多相关文档

4.4 提示词工程:让 AI 不胡说

RAG 的关键是让 AI 只基于检索到的内容回答:

prompt = f"""
你是一个文档问答助手。请严格基于以下上下文回答问题:

【上下文】
[块1] {doc1_content}
[块2] {doc2_content}
[块3] {doc3_content}

【规则】
1. 只能使用上述上下文中的信息
2. 如果上下文中没有答案,明确说"文档中未找到相关信息"
3. 引用时注明来源,如"根据[块1]..."

【问题】{user_question}

【回答】
"""

这样设计的提示词,能有效防止 AI "胡编乱造"。

unsetunset五、特色功能:类 Everything 的磁盘扫描unsetunset

这是系统的一大亮点!你可以直接扫描本地磁盘,自动索引文档:

5.1 扫描流程

首次扫描是全量的,但后续扫描会智能判断:

5.2 智能增量更新

首次扫描是全量的,但后续扫描会智能判断:

# 判断文件是否需要重新索引
if file.mtime > last_index_time:
    # 文件被修改过,重新索引
    re_index(file)
else:
    # 文件未变化,跳过
    skip(file)

这样即使扫描大量文件,也不会重复处理,效率很高。

5.3 支持 30+ 种文件类型

文档类: TXT, MD, PDF, DOCX, XLSX, PPTX
代码类: PY, JS, JAVA, CPP, GO, PHP, TS, RS
配置类: JSON, YAML, XML, INI, CONF, ENV
网页类: HTML, CSS, SCSS
脚本类: SH, BAT, PS1

基本涵盖了日常工作中的所有文本文件。

unsetunset六、实战演示:从安装到使用unsetunset

6.1 环境准备

# 1. 安装 Python 依赖
pip install -r requirements.txt

# 2. 启动 Elasticsearch/Easysearch

系统用了 Elasticsearch 9.0 版本。

Easysearch 2.0 等版本原理一致。

# 3. 安装 MySQL
# (根据你的系统安装 MySQL 5.7+)

# 4. 初始化数据库
python init_database.py

6.2 启动系统

python app.py

访问 http://localhost:16666,注册账号登录。

6.3 索引文档

方式一:上传文档

1. 点击"上传文档"标签页
2. 选择文档文件(支持批量)
3. 点击上传,系统自动索引

方式二:扫描磁盘

1. 点击"磁盘扫描"标签页
2. 选择要扫描的磁盘(如 D:、E:)
3. 点击"立即刷新"
4. 等待扫描完成
   

6.4 开始问答

问题: "如何配置 Elasticsearch 连接?"

系统返回:
【答案】
根据[块1]和[块3],Elasticsearch 连接配置如下:

1. 在 config.py 中设置连接参数:
   - ES_HOST: Elasticsearch 服务器地址
   - ES_PORT: 端口号(默认9200)
   - ES_USER: 用户名
   - ES_PASSWORD: 密码

2. 初始化客户端:
   es = Elasticsearch(
       hosts=[{'host': ES_HOST, 'port': ES_PORT}],
       basic_auth=(ES_USER, ES_PASSWORD)
   )

【证据来源】
[块1] 文档: config_guide.md, 第2段
[块3] 文档: setup.md, 第5段

【相关文档】(3个)
- config_guide.md
- setup.md  
- troubleshooting.md

unsetunset七、性能优化经验unsetunset

7.1 检索性能

• 批量查询: 使用 Elasticsearch 的 _msearch API
• 结果缓存: 相同问题直接返回缓存
• 分页加载: 前端分页,避免一次加载过多
  
  
  
  

7.2 索引性能

• 批量索引: 使用 _bulk API,100条一批
• 异步处理: 文档上传后台异步索引
• 增量更新: 只处理修改过的文件

7.3 向量生成优化

# 批量生成向量,而不是逐个生成
texts = [chunk1, chunk2, ..., chunk100]
vectors = model.encode(texts, batch_size=32)

# 比逐个生成快10倍以上

unsetunset八、踩过的坑和解决方案unsetunset

坑1: 向量维度不匹配

问题: Elasticsearch 索引的向量维度与模型不一致

# 错误
mapping = {
    "vector": {"type": "dense_vector", "dims": 512}  # 但模型是384维
}

# 正确:先确认模型维度
model = SentenceTransformer('all-MiniLM-L6-v2')
print(model.get_sentence_embedding_dimension())  # 384

mapping = {
    "vector": {"type": "dense_vector", "dims": 384}  # 与模型一致
}

坑2: PDF 提取乱码

问题: PDF 中的中文提取出来全是乱码

解决: 使用 pdfplumber 代替 PyPDF2

# pdfplumber 对中文支持更好
import pdfplumber

with pdfplumber.open(pdf_path) as pdf:
    text = ""
    for page in pdf.pages:
        text += page.extract_text()

坑3: 长文档检索效果差

问题: 长文档切分成小块后,检索只能找到片段,缺乏上下文

解决: 使用重叠切分

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,      # 每块500字符
    chunk_overlap=50,    # 重叠50字符,保留上下文
    length_function=len
)unset

unsetunset九、总结与思考unsetunset

核心收获

1. RAG 不复杂
   
    就是检索+提示词+LLM 三步
2. 混合检索是王道:
   BM25 + 向量,各取所长
3. 提示词很关键:
   好的提示词让 AI 不胡说
4. 工程化很重要:
   性能优化、错误处理、用户体验缺一不可

最后的话

Everything plus 展示了如何用开源技术构建一个生产级的 RAG 系统。它不是最先进的,但是最实用、最接地气的。

重要的不是技术有多酷,而是能不能解决实际问题。如果这个系统能让你从"找文档"的痛苦中解脱出来,那就值了。