AI革命的最大障碍，不是算法，而是“数据集成”

推荐语

AI革命的最大瓶颈竟是数据集成？揭秘传统行业数字化转型的真实困境。

核心内容：
1. 数据集成在AI落地中的关键作用与普遍困境
2. 制造业等传统行业数据孤岛的具体表现
3. 从纸质记录到机器数据的整合挑战与解决方案

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

大家好！在上一篇文章《Palantir如何驱动采购领域的AI自动化变革》中，我们深入探讨了 Palantir 如何利用其强大的AIP平台，在企业采购领域掀起了一场AI自动化变革。许多朋友看完后感叹于AI的巨大潜力，但也有人好奇：为什么听起来如此强大的技术，在国内很多企业里却迟迟无法落地？

答案或许会让你有些意外。实现AI变革的最大瓶颈，通常不是算法不够先进，也不是算力不够强大，而是一项听起来极其枯燥、做起来极其痛苦，却又绕不开的基础工作——数据集成。

一言以蔽之：所有高大上的分析和AI应用，都建立在一个简单却艰难的前提上——你得先把散落在天涯海角的数据，都归拢到一个地方。

等等，都2025年了，他们还没把数据搞定？

你可能会觉得不可思议。在今天这个时代，怎么还会有公司的数据是乱七八糟的？但现实就是如此，尤其是在制造业、航空、能源等传统工业领域。

在这些行业里，大量重要的数据甚至根本就不在电脑里。

近一百年来，制造业的工程师们一直在使用“统计过程控制”（SPC）等方法来指导生产。然而，在实践中，绝大多数被机器收集到的数据，最终都沦为了“数据垃圾”——被忽略，甚至被定期删除。只有极少数关键变量被追踪和优化。那些“垃圾”里是否隐藏着提升效率、改进质量的关键信息？也许有，但没人知道，更没有工具去发现。

这就是为什么，当你兴冲冲地向一家制造企业推销你的“AI优化方案”时，往往会碰一鼻子灰。他们会很现实地告诉你：“我们没有你要的那个‘大’数据集。” 你根本无法理所当然地走进一家工厂，然后指望拿到一个“所有机器端到端的完整流程日志”文件。

即便是在一些非常现代化的初创制造公司，他们分析数据的最先进手段，可能也仅仅是“把数据导出成.csv文件，然后用Excel做点基本统计”。

为什么数据集成这么难？

想得到一个干净、标准、可供AI模型训练（甚至只是做基本分析）的数据集，你需要走完这四步：

这其中，第一步和第三步是真正的难点，它们一个是“人的问题”，一个是“技术活”，但都极其耗费心力。

第一座大山：搞定人，比搞定技术难一百倍

“获取数据”听起来简单，但它本质上是一个与人斗智斗勇的社会学问题。直白点说，就是别人不想把数据给你。

作为一个软件供应商，你会发现，谈成一笔数百万美元的合同，可能都比拿到真正开展工作所需要的数据权限要容易。

为什么？

首先是无处不在的安全焦虑。 每个大公司都有严格的IT政策，规定了什么数据能给外人，什么样的网络权限是禁区。比如在半导体行业，每个人都对“工业间谍”有着理所当然的偏执。他们绝不可能把工厂的核心数据放到“云上”，甚至整个厂区都是与公网物理隔离的。芯片的在制品图片、生产流程的细节参数，都是最高商业机密。你必须满足一系列极其严苛的安全要求，才能让数据离开他们的“安全区”，或者让你的设备进入他们的“安全区”。

Sarah曾有过合作的一家公司，甚至要求潜在供应商在合同敲定前，自掏腰包超过100万美元，建造一个专门的、超级安全的房间来存放他们的数据。安全要求，就是可以这么夸张。

其次是更微妙的“办公室政治”。

处理这种“人的问题”，是一项巨大且劳动密集的工作，其工作量与你试图整合的数据源数量成正比。

这恰恰解释了Palantir的成功秘诀。当我们上次讨论Palantir时，很多人可能认为它的核心竞争力是软件。但在Sarah看来，Palantir真正独特的地方在于，它投入了大量的人力，至少三分之一的员工去解决这个“人的问题”。

Palantir的“前线部署工程师”（Forward Deployed Engineer）会深入客户现场，他们的核心工作就是谈判以获取数据访问权限。他们的打法堪称经典，我们在之前的文章里也有所涉及，这里可以总结为一个“三明治”策略：

这套打法几乎无法被自动化，因为它需要大量高薪、思维敏捷、情商高超的“人类”去处理各种企业内部的“糟心事”。每个公司都有外人难以想象的、不合逻辑的“坏东西”存在。你要整合数据，就必须像个“企业侦探”一样，在每个人都表现得“专业且称职”、每个人对问题都有不同说辞的环境里，拼凑出事情的真相。

比如，Sarah曾经服务过的一个客户，他们有一个十人组成的数据科学部门，唯一的任务就是算出一个“风险分值”，然后发给另一个部门。但那个部门的负责人根本不信什么统计学，每次收到这个数字，就直接把它扔进了垃圾桶。这意味着，那十个数据科学家的全部工作产出，对公司来说毫无价值。这种“企业侦探”工作，真的非常非常难。

第二座大山：“垃圾数据”的漫长清洗之路

每个在一线工作过的数据科学家都会告诉你，他们80%的时间都花在了“数据清洗”上，而不是运行高大上的机器学习模型。

“数据清洗”是什么？

是删除数据里的逗号、统一日期格式、对数值进行归一化、用一致的方式填补缺失值……等等。更重要的是，你需要理解这些数据在现实世界里到底代表什么，这样你做出的每一个处理决策才不至于离谱。

数据清洗看起来没什么技术含量，但它出奇地难以自动化。因为数据“脏”的方式有无数种，你永远无法写一个万能程序来处理所有情况。

问题的关键在于，很多时候“合理的”处理方式取决于数据的“物理意义”，而这需要你咨询领域专家。举个例子：数据表里有两列数值完全一样。它们是因为重复记录了同一个传感器的输出（可以安全删除一列），还是因为它们代表两个不同的传感器，只是在这次运行中，恰好导致它们读数相同的某个设备设置被关闭了？

这个问题的答案，无法从数据集本身推断出来。你必须去了解那台物理机器。这种模糊性是软件本身无法解决的。

Sarah曾尝试用最新的大语言模型（LLM）来自动化部分清洗工作，但效果令人失望。她反复调整提示词（Prompt）让它修改文件格式所花的时间，比用正则表达式写个脚本还要长。也许未来会有更成熟的方案，但在当下，数据清洗和数据谈判一样，是一项需要大量工程师投入时间的劳动密集型工作。

这也是为什么像SAP、Salesforce、AWS这些大型企业软件公司，都有庞大的服务团队和第三方“合作伙伴”生态。他们的工作就是帮助客户完成软件的部署，这个过程可能长达一年甚至更久，核心就是在处理数据访问、数据标准化和数据迁移这些脏活累活。

结语：AI的落地，取决于“FDE”们的努力

理解了数据整合的艰难，我们就能得出一个清晰的结论：AI对实体经济的颠覆性影响，不会在一夜之间发生。

在消耗完互联网公开数据这些“低垂的果实”之后，AI要想在商业世界创造更大的价值，就必须深入到企业的核心业务数据中去。这意味着要进入半导体、制药、汽车、航空等研发和制造密集型行业。

这个过程必然是缓慢的。你需要为每一个客户，从零开始重复“数据谈判”和“数据清洗”的苦役；你需要通过一个个试点项目，逐步证明AI的价值，建立信任，最终说服企业赋予AI更大的权限。

这就像几十年前计算机在商业世界的普及过程一样。那场“数字化转型”是真实且伟大的，也创造了无数财富。但它并不是瞬间发生的。它以人类谈判和学习的速度前进——每个公司的管理者都需要独立决策是否采购电脑，每个部门的员工都需要学习如何使用新机器，每个应用场景都需要被单独开发和验证。

AI也是如此。我们无法跳过说服客户、克服内部阻力、为不同场景反复调试工具的艰苦过程。

所以，AI的价值毋庸置疑，但它的普及之路，是一场由无数细节和繁琐工作铺就的马拉松。在这场变革中，真正的英雄，或许不是那些在聚光灯下发布新算法的研究者，而是那些默默无闻、深入企业一线，像“管道工”一样疏通、清理、连接着数据管道的FDE工程师和顾问们。他们正在从事的，正是这场AI革命中最辛苦、也最不可或缺的工作。