xBench：红杉中国发布的面向 AI Agent 的「常青基准」

推荐语

红杉中国发布全新AI Agent评估框架，旨在动态追踪AI的通用智能和实际应用价值。

核心内容：
1. xBench的背景与目的：动态追踪AI的通用智能进展和实际应用价值
2. 核心设计：采用"双轨"框架，评估模型的核心能力和商业环境中的KPI任务完成能力
3. xBench的亮点：动态更新、技术-市场匹配度追踪、开放第三方评测机制

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

一、背景与目的

xBench 是红杉中国发布的一个新的 AI Agent 评估框架，其核心目标是：动态追踪 AI 的“通用智能”进展 + 实际应用价值（Utility）。

传统评测只关注学术题目，xBench 要追踪现实问题解决能力。

二、核心设计：双轨制

xBench 采用“双轨”框架：

三、为何构建 xBench

1. 与真实价值脱节： 很多 benchmark 解决的只是“更难的题”，但现实世界更关心解决实际问题。

2. 静态测试集容易被“刷榜”： 模型过拟合静态数据，无法长期跟踪谁在真正进步。

四、xBench 的亮点

• 动态更新：不同于传统静态评测集，xBench 是“活”的 benchmark。
• 技术-市场匹配度（TMF）追踪：关注哪个模型最接近市场需求。
• 开放第三方评测机制：尤其 AGI Track，面向社区开放，保证公平性。

AGI Tracking

AGI Tracking 是 xBench 的「基础智能评估」轨道，目标是：

系统性评估通向 AGI（人工通用智能）过程中的关键能力。

它将 Agent 能力划分为四大维度：

• 基础智能（Fundamental Intelligence）
• 专业能力（Professional Capabilities）
• 创新能力（Innovation Capacity）
• 组织能力（Organizational Abilities）

这四大维度共同构成了一个「能力矩阵」，每个维度下再细分出多个子能力。如下图所示：

? 每项能力，具体评估什么

其中绿色 Active 表示当前已上线 benchmark：

• ✅ 知识能力（Knowledge）：使用 ScienceQA benchmark，评估模型对人类广泛知识的掌握。
  
• ✅ 工具使用能力（Tool Usage）：通过 AI Search benchmark，评估模型与工具交互与操控的能力。
  

其余模块均为「Benchmark coming soon」，后续将会逐步“点亮”。

为什么这很重要

传统 benchmark 像一次考试，而 AGI Tracking 更像是：

一个全天候、多维度、动态更新的“AI 智能体质报告”。

三个关键点：

1. 防刷榜机制（Contamination-Free）：每次测试都干净，防止模型靠记忆上榜。
2. 真实能力地图：不以评分单一排序，而是关注整体能力布局。
3. 反映非线性成长路径：有的模型组织力强，有的推理好——路径不同，但都值得追踪。

Profession-Aligned

Profession-Aligned 是 xBench 的职业能力评估轨道，强调：

AI 在具体行业工作流中的实用能力 + 人类偏好适配度。

这类评估不仅测试模型是否能完成任务，还强调：

• 是否懂流程（Workflow-aware）
• 是否有输出质量（符合 KPI 要求）
• 是否理解人类偏好（Human-centered）

当前已上线的专业领域（截至 2025.5）

目前已有两个行业场景开放 benchmark：

• HR（人力资源） - AI 招聘官、面试助手、绩效评估等任务

  

• Marketing（市场营销） - 竞品分析、活动策划、内容撰写等任务

  

其余如 Sales、Finance、Legal、Engineering、Product、Design 等板块尚未上线，但已规划中。

如何测试「专业能力」

xBench 的 Profession-Aligned 路线强调三件事：

1. 任务场景真实

评估任务源自真实公司流程和业务需求，而非人为拼凑的题库。

2. 人类反馈驱动

加入“人偏好评分”（Human preference scoring），衡量输出是否令人满意。

3. KPI 对齐

每个任务与岗位关键绩效指标（KPI）强绑定，确保“能力等于产出”。

这意味着，你测出来的“AI 营销助理分数”，能直接反映它是否值得你“雇佣”。