我要投稿

FastRAG：高效半结构化数据处理新范式，轻松提升检索生成效率

发布日期：2024-12-03 19:34:43 浏览次数： 2767

作者：AI 搜索引擎

微信搜一搜，关注“AI 搜索引擎”

今天分享的是一种针对半结构化数据处理的 RAG 方法：FastRAG。

论文链接: https://arxiv.org/abs/2411.13773

01

简介

随着网络规模的不断扩大和数据量的激增，对网络数据的处理和理解变得越来越困难。传统的网络管理工具在处理半结构化数据（如日志和配置文件）时效率低下，难以全面提取和利用其中蕴含的信息。现有的大型语言模型（LLM）结合检索增强生成（RAG）技术，如VectorRAG和GraphRAG，虽然在上下文处理方面有所突破，但在处理半结构化网络数据时仍存在效率低下、成本高昂和检索不准确等问题。

为解决上述问题，本文提出了FastRAG，一种针对半结构化数据的新型RAG方法。FastRAG通过模式学习和脚本学习高效提取和构建数据结构，避免了对完整数据源的逐块处理。同时，设计分块采样算法来选择适合提示的分块，优化了数据处理的时间和成本。此外，该方法结合文本检索与知识图谱查询（通过图查询语言GQL）的方法，显著提高了上下文信息的检索精度。

实验表明，FastRAG在问答任务中表现优异，与GraphRAG相比，处理时间减少了90%，成本降低了85%，同时检索准确性也得到了增强。

02

方法

1. 分块采样（Chunk sampling）

分块采样通过选择具有代表性的文本片段（chunk）来减少 LLM 的使用量，从而降低处理时间和成本。分块采样的步骤如下：

数据预处理：对源数据进行预处理，例如去除无关字符、分词等。
关键词提取：使用 K-means 聚类算法将预处理后的数据分割成多个聚类，并选择每个聚类中与质心最近的个词作为关键词。关键词代表了文本中的重要信息。
样本选择：

计算 TF-IDF 向量：对每个聚类中的文本计算 TF-IDF 向量，用于评估每个文本的重要性。
计算熵值：计算每个文本的熵值，用于评估每个文本的多样性。
选择样本：选择包含所有关键词且熵值最大的个文本作为样本。样本选择算法旨在选择具有代表性的文本，涵盖源数据的语法特征。

2. 模式学习（Schema learning）

模式学习利用 LLM 生成 JSON 模式，描述源数据中的实体类型和属性，从而将半结构化数据结构化。模式学习的步骤如下：

生成模式：将样本文本提交给 LLM，生成初始的 JSON 模式。
评估模式：使用 LLM 评估生成的模式的质量，例如是否包含所有实体类型、属性描述是否准确等。
修改模式：根据评估结果修改模式，例如添加或删除实体类型、修改属性描述等。
重复迭代：重复执行生成模式、评估模式和修改模式的步骤，直到获得最佳结构。

3. 脚本学习（Script learning）

脚本学习利用 LLM 生成 Python 代码，将源数据解析为结构化数据，并映射每个实体到原始文本中的具体行。脚本学习的步骤如下：

生成代码：将源数据样本提交给 LLM，生成初始的解析代码。
评估代码：使用 LLM 评估生成的代码的质量，例如是否能够正确解析源数据、是否能够生成结构化数据等。
修改代码：根据评估结果修改代码，例如修复解析错误、改进代码结构等。
重复迭代：重复执行生成代码、评估代码和修改代码的步骤，直到获得最佳解析效果。

4. 信息检索（Information Retrieval）

信息检索利用知识图谱和文本搜索技术，根据用户的查询信息从结构化数据中检索相关信息。信息检索的步骤如下：

知识图谱构建：

实体节点创建：在JSON对象中识别的每个实体都作为一个节点插入到KG中，实体类型作为节点的标签。
属性节点创建：实体的简单类型属性直接作为节点的属性赋值，而属性本身为对象的，则作为子节点插入，并与其父节点连接。
文本节点创建：对于每个实体的输入数据属性中的每一行，都创建一个相应的节点，并链接到父实体节点。这些输入数据节点将用于利用NLP方法进行文本搜索。

检索策略：提供多种检索策略，包括：

图查询：使用 LLM 生成 GQL 语句，从知识图谱中检索相关信息。
文本搜索：使用 LLM 生成一个仅利用文本搜索功能的 GQL 语句，利用文本搜索功能检索相关信息。
混合查询：同时执行图查询和文本搜索，并将结果合并生成最终答案。
Hybrid 查询：结合了KG查询和文本搜索的能力，指示LLM生成一个能够利用两种方法的任何相关功能的GQL语句。

03

总结

FastRAG 是一种针对半结构化数据的高效处理方法，通过模式学习、脚本学习和信息检索的结合，克服了传统 RAG 方法在半结构化数据上应用的局限性。其自动化、灵活性和高效性使得它在处理大规模、不断更新的网络数据时具有显著的优势。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-06-21

使用 LangSmith 进行 RAG 评估：构建生产级 RAG 系统的 AI 开发者指南

2026-06-20

RAG 投毒的六个影响因素与防御框架

2026-06-20

RAG 性能暴涨 5.9 倍！微软新框架让 LLM 自主检索，无需训练直接部署

2026-06-19

RAGular：适合知识库体质的 OCR 助手

2026-06-18

阿里扔出「向量版 SQLite」！十亿级向量毫秒检索，一行 pip install 搞定，本地 RAG 的游戏规则变了

2026-06-18

一个月拿下1500star，只因我们比MinerU多做了这件事

2026-06-18

为 1000 万+ 文档构建近零幻觉的 RAG Pipeline

2026-06-17

微软推出企业级 AgenticRAG！四个工具助力RAG新范式落地

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

全网爆火的大模型AI知识库，保姆级教程来了

2026-04-06

Karpathy的LLM Wiki + 3.5 万Star的Graphify：企业级 RAG 缺的真是知识图谱？

2026-04-27

RAG进化了，深扒Claude Code源码中RAG高级技巧

2026-04-02

OpenDataLoader：PDF文档提取的一站式方案

2026-03-31

2026 年做搜索就是做 Agent Memory

2026-04-23

Codeindex · 让大模型更好地理解你的代码

2026-04-20

阿里云百炼「记忆库」正式上线，让龙虾真正记住你！

2026-04-09

YC CEO 的 AI 记住了 3000 个人

2026-04-12

专题解读 | 可更新的检索增强知识库发展方向及进展

2026-04-22

AI 答疑助手优化实践：从 RAG 到 LightRAG 的全链路升级

2026-04-10

大家都在问

RAG运维如何用好Loop Engineering？Milvus 3.0 对它有什么价值？

2026-06-15

如何构建一个更“好”的知识库？

2026-06-10

企业 RAG 知识库落地，应如何设计实现？

2026-06-10

AIOps探索：给不能联网的客户做一个AI运维助手到底有多难？

2026-05-20

有多少人把Agent与RAG的检索策略，简化成了 if-else？

2026-05-18

到底是谁会相信RAG已死啊？

2026-05-11

1G内存检索2500万向量，Milvus中如何用FLAT在强标量过滤场景搞定毫秒响应？

2026-05-07

多Agent场景，子agent 之间数据读写不同步，如何解决？

2026-05-06

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部