我要投稿

企业RAG构建中，如何使用VTS进行数据迁移

发布日期：2024-12-11 12:29:35 浏览次数： 2572

作者：Zilliz

微信搜一搜，关注“Zilliz”

引言

VTS（Vector Transport Service），全称向量传输服务，是一个由Zilliz开发的专注于向量和非结构化数据迁移的开源工具。VTS的核心特点在于其基于Apache SeaTunnel开发，这一事实使其在数据处理和迁移方面具有显著的优势。

Apache SeaTunnel作为一个分布式数据集成平台，以其丰富的连接器系统和多引擎支持而闻名，VTS正是在此基础上，进一步扩展了其在向量数据库迁移和非结构化数据处理的能力。

什么是向量数据库

向量数据库是一种专门用于存储和检索向量数据的数据库系统：

开发动力和背景

作为领先的向量数据库服务提供商，Zilliz 深知开发出色的 AI 应用离不开数据本身。然而，在有效处理 AI 应用中的非结构化数据时，我们常常会面临以下挑战：

在上述这些挑战中，最突出的就是，如何将转化来自各种数据源和以各种格式存在的非结构化数据，并导入向量数据库中。这一过程比处理传统的 SQL 关系型数据要复杂得多，大部分公司或组织都低估了这一点。

因此，许多公司或组织在搭建自定义的非结构化数据流水线（Pipeline）时，通常会面临性能、可扩展性和维护成本的问题。这些问题可能会影响数据质量和准确性，从而可能削弱应用的数据分析能力。

更糟糕的是，许多公司在选择向量数据库时都忽视或者低估了供应商锁定和数据容灾等因素。

供应商锁定是指一个组织过度依赖单一供应商的专有技术。在这种情况下，该组织会难以切换到另一种解决方案，或者切换方案的成本十分高昂。这个问题在向量数据库领域尤为重要，由于向量数据的特性和缺乏标准化数据格式可能使得跨系统数据迁移变得极具挑战性。

供应商锁定的影响远不止于此。它还限制了组织在面对业务需求变化时的灵活性，甚至可能随着时间的推移会进一步增加组织运营成本。此外，锁定单一供应商的生态系统还会限制技术创新。如果所选解决方案无法很好地随着组织需求的增长而扩展，还会影响应用系统的性能。

在选择向量数据库时，组织应优先考虑开放标准（open standards）和互通性，从而降低上述风险。在制定清晰的数据治理策略过程中，规划数据的可移植性至关重要。定期评估对供应商特定功能的依赖程度，可以帮助组织保持系统灵活性。

然而，即使有了上述预防措施，组织也必须准备好面对向量数据库带来的独特挑战。我们发现，向量数据库之间的数据迁移比传统的关系型数据库之间的数据迁移要复杂得多。这种复杂性凸显了选择合适的向量数据库的重要性，并解释了为什么需要注意避免供应商锁定。向量数据库迁移的主要挑战包括：

缺乏面向向量数据库的 ETL 工具：像 Airbyte 和 Seatunnel 之类的主流工具仅面向传统的关系型数据库，无法有效满足向量数据库之间的数据迁移需求。
向量数据库之间能力差异：

为应对这些挑战，组织需要构建更具弹性、灵活性和与时俱进的 AI 应用，充分利用非结构化数据的力量，并保持适应未来技术的灵活性。

Zilliz 推出全新迁移服务（Migration Services）并将其开源，以帮助用户应对上述种种挑战。Zilliz 迁移服务是一款基于 Apache SeaTunnel，专为向量数据迁移设计的工具。

迁移服务工作原理

得到验证测试后，这项服务将会merge到SeaTunnel官方分支中。

总的来说，推动Zilliz开发这款工具的背后原因包括：

满足日益增长的数据迁移需求：用户的需求不断扩展，演变为将数据从不同的向量数据库、传统的搜索引擎（如 Elasticsearch 和 Solr）、关系型数据库、数仓、文档数据库，甚至 S3 和数据湖进行迁移。
支持实时流数据流和离线导入：随着向量数据库能力的不断扩展，用户需要对实时流数据的支持和离线批量导入的能力。
简化非结构化数据转换流程：与传统 ETL 不同，转换非结构化数据需要借助 AI 模型的力量。迁移服务结合了 Zilliz Cloud Pipelines，能够将非结构化数据转换为 Embedding 向量并完成数据标记等任务，显著降低数据清洗成本和操作难度。
确保端到端的数据质量：数据集成和同步过程中容易出现数据丢失和不一致的问题。迁移服务通过强大的监控和告警机制解决了这些可能影响数据质量的问题。