湖仓一体面对Agentic AI的应用有哪些新的特征？

摘要：最近GPT5发布，号称拥有博士的知识，让普通人可以完成专业的工作，不知道是否会带来新的一波Agent的诞生，因为每次大模型的能力的增长，都可以让智能化向业务更加深入，而智能体的逐渐演化过程中必然需要大量的私有化的数据的应用，这样也给湖仓一体带来新的挑战。AI 应用对数据的需求也变得更加多样化和复杂化。不再仅仅局限于结构化数据，非结构化数据如文本、图像、音频、视频等，在 AI 的发展中扮演着愈发重要的角色。同时伴随数据的处理例如多模态数据的特质化、向量化、以及多模态数据的管理，包括数据安全，数据血液和版本管理等问题。本文就AI系统对湖仓一体出现的新的需求，探讨湖仓一体新的特征以及多模态数据管理架构的变化。

多模态数据：在 AI 时代，数据类型丰富多样，文本、图像、音频、视频等多模态数据广泛存在。以产品设计为例，产品描述是文本数据，产品设计以及内部构造展示图片是图像数据，产品介绍视频是视频数据，这些多模态数据从不同角度反映了产品的功能和产品的特点。AI 系统需要对这些多模态数据进行统一管理，以便充分挖掘数据背后的价值。湖仓一体凭借其统一存储和多模态处理的能力，能够将不同类型的数据整合在一起，为 AI 系统提供全面的数据支持。例如通过对多模态数据的融合分析，AI 系统可以实现更精准的维修知识推荐、产品设计问答等功能。

数据血缘与向量数据：数据血缘在 AI 系统中起着至关重要的作用，它能够追踪 AI 决策的依据，让我们清晰地了解数据的来源、处理过程以及在各个环节中的变化。向量数据则是实现多模态数据语义表示和相似性查询的关键。例如，在图像识别领域，通过将图像转换为向量数据，AI 系统可以计算不同图像向量之间的相似度，从而判断图像内容的相似程度。在自然语言处理中，向量数据可以帮助 AI 系统理解文本的语义，实现文本的分类、聚类和检索等任务。湖仓一体通过引入统一向量湖的概念，将多模态数据转换为向量数组进行存储和管理，为 AI 系统提供了高效的向量数据处理能力，使得 AI 系统能够更好地进行语义检索和相似性查询，提升决策的准确性和可靠性。

实时访问与低延迟检索：对于 AI 应用来说，实时性和高效检索更新是非常重要的。在智能安防领域，监控系统需要实时分析视频数据，及时发现异常情况并发出警报。如果数据访问和检索存在较大延迟，就可能导致错过最佳的处理时机，造成严重的后果。湖仓一体在实时访问和低延迟检索方面具有明显优势，它采用了先进的存储和计算技术，能够实现数据的快速读取和更新，满足 AI 应用对实时性的要求。同时，湖仓一体还提供了高效的索引和查询优化机制，能够大大提高数据检索的效率，让 AI 系统能够迅速获取所需的数据，为决策提供及时支持。

基于Agentic AI应用挑战，湖仓一体面对AI智能体出现两个重要的新的特征：向量数据、多模态数据管理。

多模态数据转换：向量数据作为连接多模态数据和 AI 系统的桥梁，在湖仓一体架构中发挥着关键作用。多模态数据，如文本、图像、音频、视频等，首先被转换为向量数组。以图像为例，通过卷积神经网络（CNN）等技术，将图像中的像素信息提取出来，转化为具有语义信息的向量。这个向量数组能够反映图像的特征，比如图像中的物体类别、颜色、形状等。同样，文本可以通过词嵌入（Word Embedding）等方法转换为向量，音频可以通过音频特征提取算法转换为向量。这些向量将实体之间的类似关系转换为空间上的距离，从而实现多模态数据的语义检索和相似性查询。例如，当用户在图像搜索引擎中输入一张图片时，系统会将该图片转换为向量，然后在向量湖中查找与之相似的向量，进而返回相似的图片。这种基于向量数据的检索方式，大大提高了检索的准确性和效率，能够满足用户对多模态数据检索的需求。

支持 RAG 架构：湖仓一体还支持检索增强生成（RAG，Retrieval-Augmented Generation）架构，这使得大模型能够使用企业私有数据，进一步提升 AI 应用的准确性和相关性。在 RAG 架构中，湖仓一体利用其强大的数据管理能力，存储和管理企业的私有数据。当大模型需要生成内容时，它会首先在湖仓一体中检索相关的数据，然后将这些数据作为参考，结合自身的知识和算法，生成更准确、更符合企业需求的内容。比如，在企业智能客服场景中，当客户提出问题时，大模型会在湖仓一体中检索相关的产品资料、客户历史记录等私有数据，然后根据这些数据生成针对性的回答，提高客服的质量和效率。通过支持 RAG 架构，湖仓一体为大模型提供了丰富的知识来源，使得 AI 应用能够更好地服务于企业的业务需求。

架构扩展：统一向量湖对湖仓一体的架构进行了扩展，以更好地适应 AI 应用架构的需求。它在原有的湖仓一体架构基础上，增加了向量数据的存储和处理功能，将多模态数据统一转换为向量表示，并存储在统一的向量湖中。原来数据湖中只存储图片、视频、文本、结构化数据的原始数据，没有存储向量数据，AI无法直接检索这些原始数据，而现在有了向量湖，AI 应用可以直接从向量湖中获取向量数据，进行语义检索、相似性查询等操作，无需再对不同类型的数据进行单独处理。统一向量湖还提供了一致的版本控制和数据血缘功能，确保向量数据的准确性和可追溯性。在机器学习模型训练过程中，研究人员可以通过数据血缘追溯向量数据的来源和处理过程，以便更好地理解模型的训练结果和性能表现。通过这种架构扩展，统一向量湖为 AI 应用提供了更高效、更灵活的数据支持，促进了 AI 技术在企业中的应用和发展。

关键组件与功能：在统一向量湖扩展架构中，数据接入组件负责将各种数据源的数据导入到系统中，无论是结构化数据、半结构化数据还是非结构化数据，都能通过数据接入组件进行高效的采集和传输。数据加工 / 特征工程组件则对接入的数据进行清洗、转换和特征提取等操作，将原始数据转化为适合 AI 应用处理的格式。向量服务组件提供了向量数据的存储、管理和查询功能，是统一向量湖的核心组件之一。它通过优化的存储结构和算法，实现了向量数据的快速存储和检索，为 AI 应用提供了强大的向量数据支持。在图像搜索应用中，向量服务组件能够快速响应用户的查询请求，在海量的图像向量数据中找到与之相似的向量，返回相关的图像结果。检索组件则负责实现多模态数据的检索功能，它结合了向量检索和传统的文本检索等技术，能够根据用户的查询条件，在统一向量湖中准确地找到相关的数据。这些关键组件相互协作，共同实现了统一向量湖扩展架构的各项功能，为 AI 应用的运行提供了坚实的基础。

在多模态的AI数据应用下，湖仓一体的多模态数据管理架构也发生了新的变化。

主要的变化体现在三个方面：

1、数据特征提取变成必须完成的功能

2、新增非结构化数据的元数据的统一存储，非结构化数据的元数据包含：关键字、摘要、图片摘要、图片关键字、视频转文字的摘要，视频的关键字的提取等。

3、基于统一元数据和利用LLM以及RAG技术构建资产图谱。

在多模态数据管理架构中，数据源丰富多样，涵盖了各种类型的数据。结构化数据如关系型数据库中的表格数据，包含了企业的业务交易信息、客户资料等，这些数据具有明确的结构和格式，易于存储和查询。半结构化数据如 XML、JSON 文件，常见于配置文件、日志记录以及一些 Web 应用的数据传输中，它们虽然没有严格的表格结构，但具有一定的自描述性，能够灵活地表示复杂的数据关系。非结构化数据则包括文本、图像、音频、视频等，文本数据来源广泛，如新闻文章、社交媒体帖子、用户评论等，蕴含着丰富的语义信息；图像数据可以是照片、图表、设计图纸等，能够直观地传达视觉信息；音频数据包括语音、音乐、环境声音等，在语音识别、音频分析等领域有着重要应用；视频数据则综合了图像和音频信息，常用于视频监控、影视娱乐、教育培训等场景。

面对如此多样化的数据源，需要采用一系列先进的技术进行特征提取。目前对于大部分的开源工具，例如dify、ragflow都只能对文字类型的数据进行自动的特征化，而图像、视频、音频还未做到自动特征化，这就需要在湖仓一体中利用数据开发调用算法对图像、视频、音频进行特征工程处理。常见的特征算法一般是使用开源的python库来识别，也可以调用公用云上的算法实现。

元数据在多模态数据管理中起着关键作用，它是描述数据的数据，包含了数据的定义、来源、格式、质量、生命周期等信息。元数据存储是管理这些关键信息的基础，常见关系型数据库如 MySQL、Oracle 等，它的元数据就是表示的是表，字段描述等。而非结构化数据的元数据信息，主要是指文档名称、上传者、上传时间，最后更新时间、来源。如下图所示是dify中定义的元数据，当然还可以自己定义内容摘要，主题，示例问题等其它元数据信息。

为了更好地利用元数据，构建数据资产图谱是一个重要的环节。数据资产图谱以图形化的方式展示数据之间的关系，它将元数据中的各种信息进行关联，形成一个有机的整体。在构建数据资产图谱时，首先需要对元数据进行抽取和解析，提取出关键的实体和关系。对于图像元数据，实体可以是图像本身、拍摄设备、拍摄者等，关系可以是图像与拍摄设备的归属关系、图像与拍摄者的创作关系等。然后，使用图数据库如 Neo4j 来存储和管理这些实体和关系，Neo4j 提供了强大的图查询语言 Cypher，能够方便地进行图数据的查询和分析。通过数据资产图谱，用户可以直观地了解数据的全貌，快速找到所需的数据及其相关信息，实现数据的高效管理和利用。

相关文章可以参考：从 RAG 说起，为何需要知识图谱？

多模态检索是多模态数据管理架构中的重要应用，它能够实现基于多种模态数据的检索功能，满足用户多样化的查询需求。多模态检索的实现方式主要基于向量检索和混合检索技术。向量检索是将多模态数据转换为向量表示，通过计算向量之间的相似度来进行检索。在图像检索中，将图像转换为向量后，利用余弦相似度等方法计算查询向量与图像向量之间的相似度，返回相似度较高的图像结果。混合检索则结合了向量检索和传统的文本检索等技术，充分利用不同模态数据的优势。在视频检索中，可以同时利用视频的文本描述（如视频标题、简介）和视频内容的向量表示进行检索，提高检索的准确性和召回率。

为了更好地支持 AI 应用，多模态数据管理架构必须支持AI应用必须具备的LLM（大语言模型）和 RAG（检索增强生成）技术的应用的支持，例如支持对多种大模型的访问接入和RAG技术的兼容支持。通过 LLM 和 RAG 等技术的应用，多模态数据管理架构能够为 AI 应用提供更强大的支持，推动 AI 应用的在海量数据中挖掘出更多的价值。