我要投稿

RB-SQL：利用检索LLM框架处理大型数据库和复杂多表查询的NL2SQL

发布日期：2024-07-19 21:51:09 浏览次数： 2638

NL2SQL的任务是将自然语言问题转换为SQL查询，以便从数据库中获取答案。现有LLM来指导SQL生成的方法在处理大型数据库和复杂多表查询时存在挑战，尤其是在处理冗余信息和提高提示工程效率方面。

(a) 利用大型语言模型（LLM）解决文本到SQL任务的一个示例。(b) DPR模型和提出的RB模型的图表。与DPR模型相比，RB模型将输入从文档扩展到其他数据类型（即表格、列、SQL框架）。

为了解决上述问题，提出了RB-SQL框架，包含三个模块：

Table-Retriever：检索与问题最相关的表格。
Column-Retriever：在检索到的表格中进一步检索相关列。
SQL-Skeleton-Retriever：搜索具有相似SQL骨架的少量示例，并将SQL骨架引入示例组织，以增强上下文学习过程。

RB-SQL框架。表格检索器从数据库中筛选表格，列检索器进一步筛选列。SQL框架检索器用于选择相似的少量示例，并将SQL框架添加到示例组织中。

RB-SQL框架利用密集型段落检索（Dense Passage Retrieval, DPR）模型来检索相关表格、列和示例，以构建有效的提示工程。此外，框架还引入了SQL骨架作为示例组织中的中间步骤，以指导正确的SQL生成过程。

(a) 表格检索器的工作流程。该模块计算问题与表格之间的相似度，并检索与问题高度相关的表格。(b) 表格检索器的框架。使用BERT分别对问题和表格进行编码，并使用基于MaxSim的后期交互来计算相似度得分。

(a) 列检索器的工作流程。该模块检索与问题高度相关的列。(b) 列检索器的框架。

(a) SQL骨架检索器的工作流程。 (b) SQL骨架检索器的框架。

通过在公共数据集BIRD和Spider上的实验，结果表明RB-SQL模型在性能上优于几个竞争基线：GPT-4、DIN-SQL、DAIL-SQL

还进行了消融研究，证明了RB-SQL框架中所有模块对于性能提升都起到了重要作用。

https://arxiv.org/pdf/2407.08273RB-SQL: A Retrieval-based LLM Framework for Text-to-SQLprompt：https://anonymous.4open.science/r/Anonymize-A5E7/prompt_case.txt

相关资讯

2025-09-12

AI重塑生产关系：IT部门不会消失，只会进化

2025-09-12

企业知识库构建最佳实践：ChatBI发展中的关键角色

2025-09-06

介绍菜鸟集团ChatBI在物流领域实践及招人

2025-09-03

Dify实战：构建Text2SQL(NL2SQL)智能查询数据库并生成图表工作流

2025-09-02

NL2DSL2SQL是实现ChatBI的正确技术路线吗？

2025-09-02

Text2SQL与DataAgent技术深度对比与实践指南

2025-08-28

阿里巴巴发布首个数据分析Agent，让人人都可拥有AI分析师

2025-08-28

用上这个 Agent 后，再也不用熬夜做报表了

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

餐饮行业在AI时代的实时分析场景价值与技术挑战

2025-07-01

Excel 革命：微软宣布 AI 原生接入，不再用插件

2025-08-19

TeleBI 智能分析平台：基于 NL2SQL 智能体技术的数据分析解决方案

2025-06-17

他们还在搭 dify、n8n 工作流，我已经用AI生成报告下班了

2025-07-18

AI+BI----“ChatBI”（智能问数系统）

2025-07-14

实现AI大模型+BI数据分析的5种路径，Text2Sql只是其中一种

2025-06-16

Excel 迎来“AI函数”：COPILOT 正式上线，公式也能开挂了

2025-08-24

阿里巴巴发布首个数据分析Agent，让人人都可拥有AI分析师

2025-08-28

NL2SQL：从自然语言到SQL的智能转换技术深度解析

2025-07-28

AI Excel 数据分析智能体

2025-08-23

大家都在问

NL2DSL2SQL是实现ChatBI的正确技术路线吗？

2025-09-02

Power BI vs Tableau：AI 时代谁才是正确的方向？

2025-08-16

从“写SQL”到“聊数据”：NL2SQL如何用自然语言解锁数据库？

2025-08-14

ChatBI的皇帝新衣：为何90%的企业AI应用项目注定失败？

2025-08-06

先BI再ChatBI，还是直接ChatBI？

2025-07-29

颠覆传统BI！数势科技Data Agent如何重塑企业决策边界？

2025-05-27

AI+Figma真的能够还原好视觉稿？

2025-05-27

7000字详解：如何让AI智能体帮你自动挖掘商业洞察、制作数据报告？

2025-05-12

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB