2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

Text-to-SQL总失败?我搞了个能自动学习的AI,效果惊了!

发布日期:2025-12-29 09:06:40 浏览次数: 2051
作者:倔强青铜三

微信搜一搜,关注“倔强青铜三”

推荐语

Text-to-SQL总是失败?这个能自动学习的AI智能体,通过动态上下文和持续学习机制,彻底改变了传统模式!

核心内容:
1. Text-to-SQL智能体失败的根本原因分析
2. 动态上下文与持续学习的创新解决方案
3. 智能体自我提升的反馈循环机制

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家


前言

大家好,我是倔强青铜三。欢迎关注我,微信公众号:倔强青铜三。欢迎点赞、收藏、关注,一键三连!!!

本文将展示如何构建一个自我提升的 Text-to-SQL 智能体,它利用动态上下文和“穷人的持续学习”来回答问题。我们将问题分为两部分:

  • Text-to-SQL 智能体(在线路径):通过从知识库中检索架构和查询模式(动态上下文)来回答问题。
  • 持续学习(离线路径):从成功的运行中学习,并将新条目添加到知识库中。

当智能体找到一个成功的结果时,它会将其存储在知识库中,供以后使用。这为 Text-to-SQL 智能体提供了一个自我提升的反馈循环,同时保持在线路径的稳定性。

1. Text-to-SQL 在实践中失败的原因

大多数 Text-to-SQL 智能体在实践中失败,是因为它们每次从头开始,描述表、列、查找连接键。每次都会重复同样的错误。

相比之下,高级分析师或数据工程师不会每次都从头开始。他们会利用部落知识和经验,挖掘过去的查询以找到正确的查询。一旦找到有用的查询,他们就会将其保存在知识库中,供以后参考。我们的 Text-to-SQL 智能体也是如此。

我发现,大多数 Text-to-SQL 的失败并非“模型很蠢”,而是“模型缺少上下文和部落知识”的问题。让我们看看常见的错误:

  • 模型每次从头开始,描述表、列、查找连接键。每次都会重复同样的错误。
  • 模型猜测列名、使用模式,或者不知道正确的连接键。
  • 模型缺少领域定义(活跃用户、流失率、ARR 等),或者不知道正确的业务规则(例如:“状态在 orders.state 中,而不是 orders.status 中”)。
  • 模型缺少常见的陷阱(日期格式错误、空值位置错误等)。
  • 模型重新发明了已经存在于组织知识库中的查询。

你可以为 Text-to-SQL 智能体提供的最大改进是赋予它与人类工程师相同的部落知识。这使他们能够重用我们知道有效的查询,并在运行时让模型搜索已建立的使用模式。 称之为 RAG、智能体 RAG 或动态上下文,都是一样的:模型在运行时可以访问正确的上下文以生成正确的 SQL。

我们的目标很明确:

  1. 给我们的智能体提供在运行时检索正确上下文的工具(架构、连接、过去的查询、指标定义、陷阱)。
  2. 生成基于已建立使用模式的 SQL(不猜测,不重新发明轮子)。
  3. 验证 SQL(查询可解析、架构检查等)。
  4. 运行 SQL 并“分析”结果。不要只给我数据,给我洞察。
  5. 捕获学习内容,以便下次运行更好(新的连接路径、修正的列映射、查询模板、指标定义)。
  6. 重复。

2. 什么是“动态上下文”

动态上下文就是:智能体在查询时检索相关的知识,这使它能够基于已建立的使用模式生成 SQL。上下文是动态的,因为它会根据查询、数据和用户的意图而变化。

智能体可以检索的例子包括:

  • 表架构和关系。
  • 常见的连接键和关系。
  • 常见用例的已知查询。
  • 指标定义和业务规则。
  • 已知的陷阱(“状态在 orders.state 中,而不是 orders.status 中”)。

如果你的知识库中有“每周活跃用户”的查询,你的智能体应该检索它,而不是重新发明它。

3. 什么是“穷人的持续学习”(以及为什么它有效)

“穷人的持续学习”意味着:

  • 我们更新模型权重。
  • 我们更新检索知识,当我们找到一个成功的结果时。
  • 系统通过将经验作为可重用的工件捕获来改进。

每个好的查询都成为未来的上下文。 每个错误都成为一条规则。 每次澄清都成为共享知识。

穷人的持续学习之所以有效,是因为它提供了一个务实的学习循环:稳定的在线行为,受控的改进。最好的部分是,你总是可以手动探索知识库并修复问题或错误,想象一下手动更新模型权重。

4. 统一智能体架构

系统分为两部分:

  1. Text-to-SQL 智能体:通过从知识库中检索架构和查询模式(动态上下文)来回答问题。
  2. 持续学习:从成功的运行中学习,并将新条目添加到知识库中。

查询流程

  1. 用户提问
  2. 智能体从 KB(混合搜索)中检索上下文,使用:
  • 问题文本。
  • 检测到的实体(表、列、指标)。
  • 可选的数据库内省结果。
  • 这些知识通过动态上下文增强输入
    • 检索到的知识片段。
    • 规则和约束(只读、限制等)。
  • 这些知识指导 SQL 的生成
  • 智能体在安全环境中执行查询
  • 智能体分析结果并返回答案
  • 如果结果成功,智能体询问用户是否希望将查询保存到知识库中。
  • 如果用户同意,智能体将查询存储在知识库中。
  • 如果用户不同意,智能体重新审视查询,更新它并再次尝试。
  • 你可以对学习路径进行两项改进:

    1. 在每次运行 Text-to-SQL 智能体后单独运行持续学习。这样,持续学习始终与最新的查询和结果保持同步。
    2. 为持续学习添加回归工具。这样,你可以在更新前后测试知识库,以确保它仍然有效。

    5. 知识库设计(保持结构化)

    我们希望知识库存储三种信息:

    1. 表信息:包括表架构、列元数据、查询规则、常见陷阱(例如:日期列包含一条规则:“在按日期过滤时使用 TO_DATE 函数”)。
    2. 示例查询:包括常见的查询模式和最佳实践。以及如何检索常见的指标和 KPI。无需重新发明轮子。
    3. 业务语义和关系:将你的组织谈论数据的方式映射到数据库的结构。

    我提供的示例代码库包含以下文件(表信息和常见查询):

    agents/sql/knowledge/
    ├── constructors_championship.json
    ├── drivers_championship.json
    ├── fastest_laps.json
    ├── race_results.json
    ├── race_wins.json
    └── common_queries.sql

    6. 生产就绪的工具

    我为我们的系统提供了一个生产就绪的工具,使用以下技术构建:

    • 使用 FastAPI 应用程序运行我们的智能体。
    • 使用 Postgres 数据库存储会话、记忆和知识。

    这里是 仓库(https://github.com/agno-agi/agentos-railway) 的链接,包含生产代码库。

    以下是仓库的结构:

    .
    ├── agents
    │   ├── __init__.py
    │   ├── sql
    │   │   ├── __init__.py
    │   │   ├── knowledge
    │   │   ├── load_f1_data.py
    │   │   ├── load_sql_knowledge.py
    │   │   ├── sql_agent.py
    │   │   └── test_questions.txt
    │   └── ... more agents
    ├── app
    │   ├── __init__.py
    │   └── main.py
    ├── compose.yaml
    ├── db
    │   └── ... database configuration
    ├── Dockerfile
    ├── pyproject.toml
    ├── railway.json
    ├── README.md
    ├── requirements.txt
    ├── scripts
    │   ├── dev_setup.sh
    │   ├── entrypoint.sh
    │   ├── railway_up.sh
    │   ├── format.sh
    │   └── validate.sh
    ├── teams
    │   └── finance_team.py
    └── workflows
        └── research_workflow.py

    7. 运行自己的 Text-to-SQL 智能体的步骤

    克隆仓库

    git clone https://github.com/agno-agi/agentos-railway.git
    cd agentos-railway

    配置 API 密钥

    我们将使用 OpenAI 作为 Text-to-SQL 智能体(我们还在服务中为其他智能体使用 Anthropic 和 Parallel Search)。请导出以下环境变量:

    # 必需
    export OPENAI_API_KEY="YOUR_API_KEY_HERE"

    # 可选
    export ANTHROPIC_API_KEY="YOUR_API_KEY_HERE"
    export PARALLEL_API_KEY="YOUR_API_KEY_HERE"

    你可以复制 example.env 文件并将其重命名为 .env 以开始。

    安装 Docker

    我们将使用 Docker 在本地运行应用程序并将其部署到 Railway。如果需要,请安装 Docker Desktop (https://www.docker.com/products/docker-desktop)。

    在本地运行应用程序

    使用 docker compose 运行应用程序:

    docker compose up --build -d

    此命令构建 Docker 镜像并启动应用程序:

    • FastAPI 应用程序,运行在 localhost:8000 上。
    • PostgreSQL 数据库,用于存储智能体会话、知识和记忆,可通过 localhost:5432 访问。

    启动后,你可以:

    • 在 localhost:8000/docs 查看 FastAPI 应用程序。

    加载 SQL 智能体的数据

    要加载 SQL 智能体的数据,请运行:

    docker exec -it agentos-railway-agent-os-1 python -m agents.sql.load_f1_data

    要填充知识库,请运行:

    docker exec -it agentos-railway-agent-os-1 python -m agents.sql.load_sql_knowledge

    将 AgentOS UI 连接到 FastAPI 应用程序

    • 打开 AgentOS UI (https://os.agno.com/)
    • 登录并添加 http://localhost:8000 作为一个新的 AgentOS。你可以将其命名为 Local AgentOS(或你喜欢的任何名称)。

    演示

    演示视频地址:https://www.ashpreetbedi.com/videos/sql-agent-demo.mp4

    这是一个 Text-to-SQL 智能体的演示。注意我如何将一个查询添加到知识库中,当再次提出相同的问题时,智能体使用它来生成 SQL。

    停止应用程序

    完成后,使用以下命令停止应用程序:

    docker compose down

    将应用程序部署到 Railway

    要将应用程序部署到 Railway,请运行以下命令:

    1. 安装 Railway CLI:
    brew install railway
    1. 登录到 Railway:
    railway login
    1. 部署应用程序:
    ./scripts/railway_up.sh

    此命令将:

    • 创建一个 Railway 项目。
    • 将 PgVector 数据库服务部署到你的 Railway 项目中。
    • 构建并部署 Docker 镜像到你的 Railway 项目。
    • 设置 AgentOS 服务中的环境变量。
    • 为你的 AgentOS 服务创建一个新的域名。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅