我要投稿

FastRAG：高效半结构化数据处理新范式，轻松提升检索生成效率

发布日期：2024-12-03 19:34:43 浏览次数： 2179

作者：AI 搜索引擎

微信搜一搜，关注“AI 搜索引擎”

今天分享的是一种针对半结构化数据处理的 RAG 方法：FastRAG。

论文链接: https://arxiv.org/abs/2411.13773

01

简介

随着网络规模的不断扩大和数据量的激增，对网络数据的处理和理解变得越来越困难。传统的网络管理工具在处理半结构化数据（如日志和配置文件）时效率低下，难以全面提取和利用其中蕴含的信息。现有的大型语言模型（LLM）结合检索增强生成（RAG）技术，如VectorRAG和GraphRAG，虽然在上下文处理方面有所突破，但在处理半结构化网络数据时仍存在效率低下、成本高昂和检索不准确等问题。

为解决上述问题，本文提出了FastRAG，一种针对半结构化数据的新型RAG方法。FastRAG通过模式学习和脚本学习高效提取和构建数据结构，避免了对完整数据源的逐块处理。同时，设计分块采样算法来选择适合提示的分块，优化了数据处理的时间和成本。此外，该方法结合文本检索与知识图谱查询（通过图查询语言GQL）的方法，显著提高了上下文信息的检索精度。

实验表明，FastRAG在问答任务中表现优异，与GraphRAG相比，处理时间减少了90%，成本降低了85%，同时检索准确性也得到了增强。

02

方法

1. 分块采样（Chunk sampling）

分块采样通过选择具有代表性的文本片段（chunk）来减少 LLM 的使用量，从而降低处理时间和成本。分块采样的步骤如下：

数据预处理：对源数据进行预处理，例如去除无关字符、分词等。
关键词提取：使用 K-means 聚类算法将预处理后的数据分割成多个聚类，并选择每个聚类中与质心最近的个词作为关键词。关键词代表了文本中的重要信息。
样本选择：

计算 TF-IDF 向量：对每个聚类中的文本计算 TF-IDF 向量，用于评估每个文本的重要性。
计算熵值：计算每个文本的熵值，用于评估每个文本的多样性。
选择样本：选择包含所有关键词且熵值最大的个文本作为样本。样本选择算法旨在选择具有代表性的文本，涵盖源数据的语法特征。

2. 模式学习（Schema learning）

模式学习利用 LLM 生成 JSON 模式，描述源数据中的实体类型和属性，从而将半结构化数据结构化。模式学习的步骤如下：

生成模式：将样本文本提交给 LLM，生成初始的 JSON 模式。
评估模式：使用 LLM 评估生成的模式的质量，例如是否包含所有实体类型、属性描述是否准确等。
修改模式：根据评估结果修改模式，例如添加或删除实体类型、修改属性描述等。
重复迭代：重复执行生成模式、评估模式和修改模式的步骤，直到获得最佳结构。

3. 脚本学习（Script learning）

脚本学习利用 LLM 生成 Python 代码，将源数据解析为结构化数据，并映射每个实体到原始文本中的具体行。脚本学习的步骤如下：

生成代码：将源数据样本提交给 LLM，生成初始的解析代码。
评估代码：使用 LLM 评估生成的代码的质量，例如是否能够正确解析源数据、是否能够生成结构化数据等。
修改代码：根据评估结果修改代码，例如修复解析错误、改进代码结构等。
重复迭代：重复执行生成代码、评估代码和修改代码的步骤，直到获得最佳解析效果。

4. 信息检索（Information Retrieval）

信息检索利用知识图谱和文本搜索技术，根据用户的查询信息从结构化数据中检索相关信息。信息检索的步骤如下：

知识图谱构建：

实体节点创建：在JSON对象中识别的每个实体都作为一个节点插入到KG中，实体类型作为节点的标签。
属性节点创建：实体的简单类型属性直接作为节点的属性赋值，而属性本身为对象的，则作为子节点插入，并与其父节点连接。
文本节点创建：对于每个实体的输入数据属性中的每一行，都创建一个相应的节点，并链接到父实体节点。这些输入数据节点将用于利用NLP方法进行文本搜索。

检索策略：提供多种检索策略，包括：

图查询：使用 LLM 生成 GQL 语句，从知识图谱中检索相关信息。
文本搜索：使用 LLM 生成一个仅利用文本搜索功能的 GQL 语句，利用文本搜索功能检索相关信息。
混合查询：同时执行图查询和文本搜索，并将结果合并生成最终答案。
Hybrid 查询：结合了KG查询和文本搜索的能力，指示LLM生成一个能够利用两种方法的任何相关功能的GQL语句。

03

总结

FastRAG 是一种针对半结构化数据的高效处理方法，通过模式学习、脚本学习和信息检索的结合，克服了传统 RAG 方法在半结构化数据上应用的局限性。其自动化、灵活性和高效性使得它在处理大规模、不断更新的网络数据时具有显著的优势。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-07-31

精准与效率：RAG应用PDF文档图文提取OCR策略

2025-07-31

聊聊Dify如何集成Milvus向量库做RAG

2025-07-31

RAG + Claude的1TB大文档问答系统实战操作

2025-07-31

RAG召回质量翻倍的两个核心技术：我是这样解决"找不准"问题的

2025-07-31

测试不同的RAG技术以找到最佳方案

2025-07-30

Spring AI + Milvus 实现 RAG 智能问答实战

2025-07-30

AI问答系统崩溃？这篇RAG优化实战指南，教你解决90%的检索问题

2025-07-30

基于MCP-RAG的大规模MCP服务精确调用方法

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

RAG技巧与底层代码剖析

2025-06-06

2025年GitHub上十大RAG框架深度解析：从技术原理到实战应用

2025-05-30

RAGFlow中的Embeddings模型选择及向量数据库选型与实现分析

2025-06-05

淘天⾃营质量技术AI智能体的实践和思考

2025-05-19

深度解读：LlamaIndex 实现 RAG 重排序的关键要点

2025-05-08

如何构建基于n8n的RAG日报工作流（手把手教程）

2025-05-10

RAG技术全解析：从基础原理到优化实战

2025-06-05

ragflow架构解析及性能优化方式

2025-05-20

知识图谱+RAG：大幅提升智能问答系统准确率

2025-06-05

让大模型“记住”更多：RAG与长期记忆

2025-05-09

大家都在问

长文本放提示词中还是采用 RAG？

2025-07-28

AI大模型落地最后一公里：RAG？

2025-07-09

向量相似度检索遇到天花板，是否我们走错了？

2025-07-04

RAG检索策略深度解析：从BM25到Embedding、Reranker，如何为LLM选对“导航系统”？

2025-07-01

从碎片到图谱：Graph RAG如何用知识网络颠覆传统搜索？

2025-07-01

qodo如何构建大型代码仓库的RAG？

2025-07-01

RAG系统的“聪明药”：如何用反馈回路让你的AI越用越聪明？

2025-07-01

GraphRAG的索引动态更新解法-分桶+局部更新及“上下文工程”新概念？

2025-06-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备14082021号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204

上海：上海市浦东新区金新路58号1602室

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部