如何理性认识AI能力边界？Jason Wei斯坦福的分享给出一个理解框架

推荐语

斯坦福研究员Jason Wei分享的AI能力边界框架，帮你跳出"AI无所不能"的迷思，理性看待技术发展。

核心内容：
1. 智能商品化趋势：AI能力从稀缺到普及的演进路径
2. 验证者定律：任务可行性与验证难度的直接关联
3. 智能的锯齿状边缘：AI在不同任务上表现差异巨大的本质原因

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

当前，对生成式AI的理解普遍存在着两极分化，一极是技术乐观主义者，他们见证着AI能力以前所未有的速度扩张，几乎每天都在刷新我们对“可能”的认知，似乎“AI无所不能”的时代已经来临；另一极，则是身处一线的企业和开发者，他们在将这些强大能力转化为可靠、可规模化的商业价值时，却面临着巨大的现实挑战和不确定性。

这两极之间的巨大鸿沟，源于对AI能力边界的普遍误解。人们往往将其视为一条平滑、持续推进的战线，而实际上，它更像是一条崎岖不平、充满锯齿的边缘。这一现象被精辟地称为“智能的锯齿状边缘”(Jagged Edge of  Intelligence)。

原DeepMind、OpenAI，现Meta的资深研究员Jason Wei最近在斯坦福AI Club做了一个题为《Three ideas to understand in AI in 2025》的分享，提供了一个理性理解当前AI技术边界的高质量框架。该分享主要围绕三个核心思想展开：

1. 智能商品化 (Intelligence as a Commodity)：获取智能的成本将会走近于零。知识将实时可得。

2. 验证者定律 (Verifier's Law)：训练模型来解决一个任务的可行性与验证这个任务的难易程度直接相关。

3. 智能的锯齿状边缘 (The Jagged Edge of Intelligence)：AI能力和提升速度针对不同类型的任务差异非常大。

一、 智能商品化 (Intelligence as a Commodity)

Jason Wei分享的第一个论断是“智能商品化”，即获取知识或进行推理的成本和可及性正趋近于零。

一旦某项AI能力被开发出来，它就会通过技术扩散迅速普及，变得廉价且触手可及。这并非简单的成本线性下降，而是一场范式转移。理解这一趋势，是识别AI时代商业价值和构建竞争壁垒的第一步。

1. AI进步的两个阶段与成本的必然下降

Wei认为AI技术的宏观进步划分为两个紧密衔接的阶段，清晰地揭示了AI能力从稀缺到普及的演进路径。

• 第一阶段：推动前沿研究 (Pushing the Frontier)：这个阶段主要是由Frontier AI Labs或者头部大公司主导。它们通过巨大的资本和人才投入，进行高成本、高风险的研发，通过不断的技术创新来“解锁”全新的AI能力，实现从“做不到”到“做得到”的突破。这通常体现在像MMLU这样的榜单不断被刷新上。

• 第二阶段：能力商品化 (Commoditization)：一旦某项能力被成功解锁或达到某个可接受的效果阈值，竞争的焦点便迅速从“能否实现”转向“以多低成本实现”。获取特定智能水平（如MMLU达到80分）的成本会随着时间的推移而急剧下降。

  
  

为什么成本会持续下降呢？

这一成本持续下降趋势的背后，是自适应计算 (Adaptive Computation) 技术的成熟与普及，它从根本上改变了LLM的成本结构。

自适应计算的核心思想是，系统的计算资源应根据输入任务的复杂性动态调整，而非一成不变。混合专家（Mixture of Experts, MoE）架构就是一个典型的例子。

传统的稠密（Dense）模型，如早期的GPT系列，在处理每一个输入token时，都需要激活并动用模型全部的参数。这意味着模型的总参数量与单次推理的计算成本（以FLOPs衡量）是硬性绑定的。

MoE架构通过引入条件计算 (conditional computation) 打破了这一绑定。一个MoE层通常由两部分组成：

1. 一组“专家”网络 (Experts)：这些专家通常是标准的前馈神经网络（FFN），每一个都拥有自己独立的参数。

2. 一个“门控网络”或“路由器” (Gating Network / Router)：这是一个小型的神经网络，其功能是分析每个输入的token，并决定将这个token分配给哪个（或哪些）专家进行处理。

   
   

在推理过程中，对于每一个token，路由器会计算出一个概率分布，选择得分最高的少数几个专家来处理该token，其余专家则保持非激活状态。这种机制被称为稀疏激活 (sparse activation)。

这种架构的革命性在于，它成功地将模型的总容量（总参数量）与单次推理成本（激活参数量）解耦。

一个MoE模型可以拥有数千亿甚至万亿级别的总参数，这使其具备了存储海量知识的巨大容量。然而，处理任何单个token的计算成本仅相当于一个规模小得多的稠密模型，因为只有一小部分专家被激活。

正是这种解耦，使得为简单任务分配极少计算资源，同时保留为复杂任务动态增加计算投入的能力成为可能，从而从根本上驱动了“智能”的成本下降。

除了MoE，自适应计算还包括提前退出 (Early Exiting) 等技术，即模型可以根据token的预测置信度，在中间层就生成输出，而无需走完整个网络深度，进一步为“简单”任务节省计算资源。

2. 知识的即时获取 (Instant Knowledge)

智能商品化的另一个直接体现是公共信息检索时间的急剧缩短。Wei通过一个生动的例子展示了这一趋势 ：

• 简单知识（如“1983年釜山的人口”）：在互联网时代前，这需要数小时在图书馆翻阅百科全书；互联网时代，通过搜索引擎只需几分钟；而如今，AI模型可以“即时”给出答案。

• 复杂知识（如“1983年釜山有多少对夫妇结婚”）：这类问题在过去几乎无法回答，可能需要数周的实地调查。而现在，具备工具使用能力的AI Agent 可以在几分钟内通过访问特定数据库来解决。

  
  

AI Agent的兴起，标志着AI正从一个被动的“信息提供者”进化为一个主动的“任务执行者”。

为了衡量这一进展，OpenAI推出了BrowseComp基准测试。这个测试包含了大量需要跨越多个网站、进行深度查找和推理才能找到答案的难题。人类专家解决这些问题平均需要两个多小时，而最优秀的AI Agent已经能够解决其中相当一部分问题。这意味着，未来任何公开可用的信息，无论多么复杂和分散，都可能都将实现即时访问。

3. 潜在影响

智能商品化不仅是技术趋势，更是企业制定AI战略时必须考虑的基本盘。

• 专业领域高门槛可能不再：当获取专业知识的壁垒被消除时，许多领域场景将被颠覆。以编程为例，以“Vibe Coding”为代表的新范式正在兴起，开发者不再需要记忆精确的语法，而是通过自然语言描述“目标”或“意图”，由AI生成代码。这极大地降低了软件开发的门槛，使得更多非专业人士也能参与创造，而专业开发者的效率有望实现数量级的提升。

• 专有信息价值提高：当公共信息的获取成本趋近于零时，那些无法被公开访问的、企业内部的专有数据（如企业的供应链数据、客户交互记录）的价值将急剧上升 。未来，真正的护城河不再是拥有一个比通用模型强10%的模型，而是拥有通用模型无法触及的、独特的、高质量的数据集。如何有效地利用这些专有数据，将成为企业构建核心竞争力的关键。

• 无摩擦信息获取与个性化互联网：信息获取将变得“无摩擦”，用户体验将极其顺滑。这将催生一个“个性化的互联网”，AI会根据每个用户的独特需求和上下文，动态地组织和呈现信息，而不是让所有人都面对同一个公共的、静态的互联网。最近OpenAI、Gemini、Claude、Perplexity等都高度重视用户个性化信息的获取和使用，正是这一趋势的开始。

  
  

二、验证者定律 (Verifier's Law)

如果说“智能商品化”描述了AI能力的经济形态，那么Jason Wei的第二个核心思想——“验证者定律”，则揭示了AI能力发展的内在驱动机制。它为我们提供了一个强大的预测框架，用以判断AI将在哪些领域率先取得突破，并解释了AI能力提升的内在逻辑。

这一定律的核心论断是：训练AI解决一个任务的难易程度，与该任务的可验证性成正比。所有可被轻易验证的任务，终将被AI解决，因此应该将更多注意力从一个任务的“解决难度”转向其“验证难度”。

1. 验证的不对称性 (Asymmetry of Verification)

验证不对称性，即对于许多任务，验证一个解决方案是否正确，远比从零开始找到该方案要容易得多。这个也被称为“Generator-Verifier Gap”，之前的文章有深度讨论过生成器-验证器差距(Generator-Verifier Gap)到底是个啥？。

如果把所有任务从”生成难度“和”验证难度“两个维度来划分：

• 高生成难度、低验证难度的任务：这是AI将首先取得压倒性优势的领域。例如，解决一个复杂的数独谜题或编写一段满足特定测试用例的代码，可能需要大量的试错和推理（高生成难度），但一旦给出一个解，验证其正确性却非常迅速和明确（低验证难度）。

• 低生成难度、高验证难度的任务：在这类任务上，AI短期内效果欠佳。例如，“评价一篇文章的创造力”或“为个人生成最佳的饮食方案”。生成一个方案相对容易，但验证其“好坏”或“最佳”却极其困难，因为它缺乏唯一的、可量化的客观标准。

一个任务的验证不对称性并非一成不变，而是可以通过提供privileged information来主动提升的。比如，为数学题提供“答案”，或为代码提供“测试用例”等。

在企业实际应用AI时，必须认识到“验证者定律”的边界。该定律在能够依据“客观真相”明确判定时最为有效。

2. 可验证性的五个关键因素

Wei进一步将“可验证性”分解为五个可量化的关键因素。一个任务越是满足这些条件，AI就越容易通过强化学习等方法，在快速的迭代反馈中掌握它。

1. 存在客观真相 (Objective Truth)：对结果的好坏有明确、统一的评判标准，而非主观感受。例如，数学题的答案是唯一的，代码是否通过测试用例是明确的。

2. 验证速度快 (Fast to Verify)：可以在秒级或毫秒级判断一个方案的优劣。迭代速度是AI提升的关键。数字世界的进步远快于物理世界，根本原因就在于迭代速度的差异。

3. 可规模化验证 (Scalable to Verify)：能够自动化地、并行地验证成千上万个候选方案。

4. 噪声低 (Low Noise)：验证过程本身是可靠的，反馈信号与方案质量高度相关，不会因为随机因素给出错误的反馈。

5. 奖励信号连续 (Continuous Reward)：能够提供一个从“差”到“好”的连续量化评分，而不仅仅是“通过/不通过”的二元判。连续的奖励信号为模型的优化提供了更精细的梯度指引，使其能更快地朝正确方向改进。

   
   

这五个维度不仅是理论模型，更可以作为企业在应用AI时进行场景可行性评估的实用清单。如果一个业务场景完全不存在客观的量化评价标准，且验证成本高昂（无论是时间还是资源），那么该场景可能不适合当前阶段的生成式AI应用 ，不要拿着锤子到处敲钉子。

3. 验证者定律的边界与AI评估产业的兴起

验证者定律在能够依据“客观真相”进行明确判定的场景中最为有效。

然而，在许多高价值的商业场景中，例如评估一篇营销文案的创造力、判断一个战略决策的优劣，或进行开放式科学探索，不存在单一的、可快速验证的“客观真相” 。在这些领域，对“好”的定义是主观的、多维度的、且依赖于情境的。

这个边界催生了一个新兴且至关重要的领域：AI评估与可观测性 (AI Evaluation and Observability)。这个领域的目标，就是为那些原本主观、难以验证的任务以系统工程化方式创造出验证机制。

像Galileo AI和Scale AI这样的公司，正在开发复杂的评估框架和工具：

• Galileo AI 专注于提供自动化的、自适应的评估指标和实时生产环境的“护栏”，旨在将主观的质量评估（如是否存在幻觉、内容是否安全）转化为可大规模部署、低延迟的验证模型。

• Scale AI 则通过其测试与评估（T&E）平台，采用结合了自动化、通用红队成员和领域专家的混合方法，为政府和企业构建复杂的评估分类体系，以应对高风险、高主观性的AI安全与能力评估需求。

  
  

这个领域的兴起反映了一个趋势：当AI的能力越来越依赖于验证反馈时，定义和度量“好”的能力本身，就成了一种核心竞争力。这些公司并非被动地接受验证者定律的限制，而是在主动地扩展其适用边界，试图将更多的主观世界纳入可被AI优化的客观范畴。以前看上去都是些脏活苦活，现在突然成了“护城河”，这谁想的到。

4. 潜在影响：从“解决问题”到“定义问题”

未来AI时代的核心竞争力，将从“解决问题”的能力，转向“定义可验证问题”的能力。

最先被AI彻底自动化的，将是那些满足验证者定律的领域，如软件测试、芯片验证、物流优化、量化交易等。对于企业而言，识别并改造业务流程，使其符合这五个标准，将是构建长期竞争优势的关键。

三、智能的锯齿状边缘 (The Jagged Edge of Intelligence)

Jason Wei分享的第三个核心思想是“智能的锯齿状边缘”，这个概念在之前的文章也深入讨论过Agent驱动的智能组织。

这一概念的直白理解就是“AI不是万能的”。AI的能力并非一条平滑上升的曲线，而是一条崎岖不平的、由无数“高峰”和“低谷”组成的边缘。AI可能在某些人类专家都感到困难的任务上表现超凡（高峰），却在另一些看似常识性的问题上犯低级错误（低谷）。

1. 否定“快速爆发式发展” (Rejecting Fast Takeoff)假说

“锯齿状边缘”的现状，首先有力地反驳了“快速爆发”（Fast Takeoff）或“智能爆炸”假说。该假说认为，一旦AI达到某个临界点，其自我改进能力将引发一个失控的正反馈循环，导致智能在极短时间内超越所有人类。

这种观点过于简单化，它将AI的自我改进能力视为一个非0即1的二元开关。而现实是，AI的自我改进是一个渐进的、按任务划分的光谱。

每个任务的自我改进速度不同，这取决于该任务的可验证性、数据可用性等多种因素。因此，我们感受到的不会是所有能力同时爆炸性的飞跃，而是在不同任务上、以不同速度发生的、渐进式的突破。

尽管过去两三年生成式AI技术的发展速度突飞猛进，但不能简单地线性外推，认为所有能力都会同步“起飞”。

2. 智能能力的非均匀性：高峰与低谷

“锯齿状边缘”体现在AI能力的高度不均衡上：

• 能力高峰 (Peaks)：在许多定义明确、数据充足、且高度可验证的领域，AI展现出超人能力。例如，最新的GPT-5和Gemini 2.5 Pro都在国际数学奥林匹克竞赛（IMO）中取得金牌，AlphaEvolve能解决困扰数学家半个世纪的算法问题。

• 能力低谷 (Valleys)：与此同时，AI在许多方面表现出惊人的“无知”。

• 常识推理：模型可能会犯一些匪夷所思的常识性错误，经典的错误是认为9.11大于9.9，或者在基本物理常识上犯错。

• 精确控制：让模型生成一首“恰好50个词”的诗，比让它写一首遵循复杂格律的十四行诗要困难得多，因为模型按“token”而非“词”来理解和生成世界的。

• 罕见语言：对于只有几百人使用的美洲原住民语言（如Flingit语），由于训练数据极度稀缺，AI的表现会非常糟糕。

  
  

为啥AI能力会出现“锯齿状边缘”的现象呢？

“锯齿状边缘”的根本原因，并不仅仅是“数据依赖”，更深层次的原因源于当前主流Transformer架构及其训练范式的内在缺陷。专业点讲，模型倾向于学习虚假特征 (spurious features)，而非法则性的不变特征 (invariant features) 。

• 虚假特征：指那些在训练数据中与标签存在统计相关性，但并非因果相关的特征。模型学习这些特征是一种“统计捷径”，可以帮助它在训练集和相似的测试集上取得高分。

• 不变特征：指那些与任务标签存在因果关系的、本质的特征。这些特征在不同的数据分布下依然保持其预测能力。

  
  

举一个经典的栗子。如果一个用于识别“牛”的模型，其训练数据中绝大多数牛的照片都是在绿色的草地上拍摄的，模型很可能会学到一个强大的虚假特征——“绿色背景”与“牛”这个标签高度相关。在处理类似的“牛在草地上”的图片时，模型表现优异（能力高峰）。但当模型遇到一张“牛在沙滩上”的图片时，由于这个虚假相关性失效，模型可能会分类失败（能力低谷）。

Transformer架构本质上是一个强大的统计模式匹配器。在通过梯度下降最小化损失函数的过程中，如果数据中存在简单的虚假关联，模型会优先学习这些“捷径”，因为它能最快地降低训练误差。当模型在分布外（Out-of-Domain, OOD）数据上进行测试时，这些虚假相关性便会失效，导致模型性能急剧下降。这正是“锯齿状边缘”背后的底层技术原因。

3. 预测AI进化速度的启发式方法

Wei总结了四个关键属性，用以预测AI在特定任务上的影响和进化速度。一个任务越是同时满足这些属性，其被AI加速的潜力就越大，也越不容易受到“锯齿状边缘”低谷的影响 。

1. 数字化程度 (Digital)：AI在数字领域的进化速度远快于物理世界，核心原因是迭代速度。数字任务可以通过增加计算资源实现近乎无限次的快速试错和迭代，而物理任务（如机器人操作）的实验和数据收集成本高昂、速度缓慢，极大地限制了迭代效率。

2. 对人类的难度 (Human Difficulty)：通常，对人类越容易的任务，对AI也越容易。但也有例外，AI可以完成那些因人类生理局限（如寿命、注意力、记忆力）而无法完成的任务。一个例子是，通过分析数千万张医学影像来预测癌症，这是任何人类医生都无法(没有足够的精力和时间)做到的。

3. 数据丰富度 (Data Abundance)：AI在数据丰富的任务上表现卓越。其数学能力的提升，与训练数据中数学内容出现的频率呈现出清晰的正相关性。

4. 明确的客观指标 (Single Objective Metric)：如果一个任务有单一、明确的评估指标（如游戏得分、算法效率），AI就可以将其作为奖励信号，通过强化学习生成海量合成数据进行自我博弈和优化，实现快速的能力提升。这正是验证者定律的应用。

4. 潜在影响：人机协同是必然选择

这四个属性为企业识别AI应用场景提供了实用的启发式方法：

• 重度加速领域：同时满足上述多个属性的领域，将经历最剧烈的变革。软件开发是典型代表：它是纯数字化的，拥有海量的开源代码数据，且可以通过单元测试等方式进行客观评估。

• 基本不受影响的领域：那些不具备这些属性的任务，在短期内很难被自动化。例如，理发、手工地毯制作、处理复杂的人际情感问题。这些任务不是数字化的，难以大规模收集高质量数据，且缺乏客观的评估标准。

面对AI能力固有的“锯齿状边缘”，扩大AI应用规模的关键，不在于等待一个“完美”的、没有锯齿的通用AI，而在于设计出高效、无缝的人机协同（Human-in-the-Loop, HITL）工作流。

在这个模式中，AI是强大的效率放大器，负责处理其能力“高峰区”的大量重复性工作；而人类则是最终的质量控制者、异常处理器和价值判断者，负责处理AI能力“低谷区”的异常、模糊和高风险任务。人机协同是应对AI能力不均衡性的唯一务实路径。

总结：从AI能力的3点认识到AI应用三步法

光理性认识AI能力现状没用，还得想办法实际用起来。从Jason Wei分享的三个核心思想的理性认知，可以形成一个企业AI应用的三步法：

第一步：拥抱智能商品化 -> “单点突破，创造价值”

智能商品化是AI能力的经济本质，即核心智能正变得廉价且无处不在，这为企业提供了低风险创新的机会：可以用极低的成本，在特定的业务场景中进行“单点突破”的实验。

如果智能是昂贵且稀缺的，那么第一步就成了一个门槛；正因为它是商品化的，第一步才可以是轻量、快速、以创造局部价值为目标的探索。企业可选择符合“数字化、数据丰富、有客观指标”等属性的”高价值”场景，进行初步的AI应用尝试 。

第二步：应用验证者定律 -> “流程融合，建立信任”

当“单点突破”的实验证明了AI的潜在价值后，企业自然会寻求将其更深地融入核心业务流程。然而，这一步面临的最大障碍是“信任”——如何信任一个本质上是概率性的、有时会产生“幻觉”的系统？

验证者定律为此提供了解决方案。通过选择和改造那些结果“易于验证”的业务流程，企业可以为AI的输出建立起客观、可信的质量保证体系。这为“流程融合”铺平了道路，解决了从“酷炫的演示”到“可靠的生产”之间最关键的信任鸿沟。建立可验证的反馈闭环，是让AI从外围工具变为核心生产力系统的关键。

Step 3：直面锯齿状智能 -> “人机协同，扩大规模”

当AI被信任并融入核心业务流程后，终极目标是在整个企业范围内“扩大规模”。此时，企业将不可避免地撞上AI能力的现实——即智能的锯齿状边缘。这种固有的能力不均衡性，使得“完全自动化”在绝大多数复杂场景下都是一个不切实际的伪命题。

面对这条“锯齿状”的能力边界，唯一可行的规模化路径，就是设计能够“包容”这种不完美的系统。这必然是人机协同的架构，由AI处理其能力“高峰区”的大量标准化工作，由人类专家处理其“低谷区”的异常、模糊和高风险任务。

在这个"三步法"的循环中，人机协同不仅仅是规模化的最后一步，它也是建立信任的核心机制。在协同工作中，人类专家验证AI的输出，纠正其错误，这个过程本身就在逐步建立组织对AI系统的信任。

同时，规模化的人机协同系统会产生大量关于AI能力“低谷”的宝贵数据——即AI在哪些情况下会失败。这些数据是稀缺的，将直接指导下一轮的“单点突破”实验，形成一个发现问题、解决问题、扩大应用、再发现新问题的良性循环。

Enjoy!

References:

1. Stanford AI Club: Jason Wei on 3 Key Ideas in AI in 2025, Jason Wei