Data Agent：开启数据与 AI 融合的新时代​

推荐语

Data Agent正重塑数据处理方式，让AI与数据无缝协作，开启自动化新时代。

核心内容：
1. Data Agent的核心概念与目标：弥合数据与AI的语义鸿沟，实现自主化处理
2. 三层架构设计：编排层、引擎层、数据层的协同工作机制
3. 五大技术挑战与创新解决方案：从语义理解到自我反思的完整闭环

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

在人工智能飞速发展的当下，数据与 AI 之间的协同却面临着诸多阻碍。而 Data Agent 的出现，正为打破这一局面带来了曙光。

一、Data Agent概念

Data Agent 是一种具备自主性的系统，它凭借知识理解、自动规划和自我反思能力来执行数据任务。这一特性让它能够摆脱对人工的过度依赖，自主地完成复杂的数据处理工作。

其目标主要有两个方面。一方面，是弥合数据与 AI 之间的语义鸿沟，包括数据理解、任务推理、适应性等方面的差距。另一方面，是替代传统依赖人工编码的流程，实现从 “人工干预” 到 “自主化” 的转变，大大提高数据处理的效率和准确性。

二、Data Agent 的核心架构

Data Agent 采用分层设计，由编排层、引擎层和数据层构成，各层分工明确，协同工作。

编排层（Orchestration Plane）主要负责将自然语言转换为流程（NL2Pipeline），并对流程进行优化与执行。这意味着用户只需用日常语言提出需求，系统就能自动生成相应的处理流程。

引擎层（Engine Plane）承担着管理代理调度、交互及工具调用的重要职责。它就像一个指挥中心，确保各个代理和工具之间有序协作。

数据层（Data Plane）则专注于统一元数据管理，支持语义索引与探索，为整个系统提供坚实的数据基础。数据层能够整合多源数据视图，让用户可以更全面地了解和使用数据。同时，系统支持向量数据库、数据处理引擎、可视化工具等多种工具集成，进一步拓展了其功能。

三、关键技术挑战与解决方案

Data Agent 在发展过程中面临着五大挑战，不过针对这些挑战，也有相应的创新解决方案。

第一个挑战是查询、数据和工具的理解，也就是语义鸿沟问题。为了解决这个问题，方案引入了语义运算符（Semantic Operators），它扩展了传统数据库算子，如 Semantic Filter、Semantic GroupBy 等，能够支持非结构化数据分析，包括文本、图像等。

高效流程编排（Pipeline Orchestration）是第二个挑战。NL2Pipeline 技术的出现很好地应对了这一挑战，它可以将自然语言查询自动分解为多步语义操作流程，比如在多跳查询中，能一步步拆解问题，找到答案。

第三个挑战是代理与工具调度（Agent-Tool Interaction）。混合执行优化方案结合了 LLM、预编程算子、向量索引，通过代价模型（如语义基数估计）减少 LLM 调用开销，提高了调度效率。

流程优化与执行（Cost Model & Parallelism）是第四个挑战。而自我反思机制通过奖励模型（Reward Model）和交互式调整，能够动态优化流程，有效解决了这一问题。

最后一个挑战是流程质量持续提升（Self-Reflection）。同样，自我反思机制在这方面也发挥着重要作用，确保流程质量不断提高。

四、具体应用场景

Data Agent 的应用场景十分广泛，涵盖了非结构化数据分析、结构化数据分析、数据湖分析等多个领域。

在非结构化数据分析中，比如对文本、报告的分析，它支持复杂语义查询。例如，统计 “斯皮尔伯格40岁之前的电影中好评多于差评的数量”，通过MultiHop-RAG等算法就能实现。

对于结构化数据分析，系统提出了 Semantic SQL，将语义算子嵌入 SQL，实现了混合处理，让结构化数据的分析更加灵活高效。

在数据湖分析方面，Data Agent 解决了异构数据集成挑战，提出了统一嵌入（Unified Embedding）和数据编织（Data Fabric）架构。同时，多代理协同模式由编排代理协调数据代理、分析代理、工具代理，进一步提升了数据湖分析的能力。

此外，还有一些扩展场景，如数据科学代理可以实现自动化特征工程和模型训练，DBA 代理能够进行数据库自治诊断等。

五、系统实现与验证

目前，已经有了开源系统 Unify 作为 Data Agent 的实现。在真实数据集上的实验结果显示，相比 GPT-4，它提升了 30%-40% 的准确率，而且支持低延迟并行执行，充分证明了 Data Agent 的有效性和优越性。

六、未来方向：Data+AI 生态机遇

未来，Data+AI 生态有着广阔的机遇。AI4Data 五级成熟度从基础插件（Level 1）到完全自治设计（Level 5），为 Data Agent 的发展指明了路径。

Data4AI 闭环构建了数据飞轮（Data Flywheel），实现了数据准备、模型训练、推理反馈的迭代优化，让数据和 AI 能够相互促进，共同发展。

主动数据管理如 Chat2Data、NL2Viz、多模态数据湖分析等，也将成为 Data Agent 未来的重要发展方向，为用户带来更便捷、高效的数据处理体验。

以上内容为学习清华大学李国良教授在ICDE 2025会议上发表的课件《Data Agent: A Holistic Architecture for Orchestrating Data + AI Ecosystems》有感。