Google 11月发布了Agent质量白皮书，输出了四大评估支柱，两大评估层级、三大可视化基石

推荐语

Google最新《Agent质量》白皮书解读：AI时代如何评估智能体可靠性？

核心内容：
1. AI Agents与传统软件测试的本质差异与挑战
2. 评估AI质量的四大支柱与两大层级方法论
3. 从自动化指标到人机协同的五种评判手段

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

Google这两天发布了最新的《Agent Quality》白皮书，深入探讨了在 AI Agents时代，软件工程和质量保证（QA）面临的范式转变，并提供了一套完整的框架来构建、评估和监控高可靠性的 AI 系统。

今天来解读一下这份Agent质量白皮书里有哪些内容。

1. AI Agents时代的核心挑战，是传统的软件测试已无法应对 AI 智能体。

传统软件测试有确定的路径和期望输出。像送货卡车，按既定路线行驶；而AI 智能体评估是不确定的，像F1 赛车，需要根据实时路况和复杂的判断来决策，是非确定的。

Agents的失败往往不是系统崩溃，而是更隐蔽的判断失误，例如幻觉、偏见、效率低下或安全漏洞。                   

因此，我们不能只问“产品做对了吗”，而必须问“做的是对的产品吗？”。

1. AI agents评估的四大质量支柱

这份白皮书提出了一套层次化的评估策略，核心是四大质量支柱。分别是有效性、效率、鲁棒性、安全性与对齐。

有效性 (Effectiveness)是指， Agents是否完成了用户的目标。例如：不仅是生成了代码，而且代码能运行并解决问题。

效率 (Efficiency)是指，成本和速度如何。是否用了过多的步骤、Token 或 API 调用来完成简单任务。

鲁棒性 (Robustness)是指，面对 API 故障或模糊指令时，系统是否可靠。能否优雅地处理错误而不是崩溃或产生幻觉。

安全性与对齐 (Safety & Alignment)是指， AI Agents是否值得信赖。是否存在偏见、泄露隐私或执行有害指令。

1. AI Agents评估的两大层级

这份白皮书里提出了AI Agents评估的两大层级。

第一步为黑盒评估（Outside-In），指的是，黑盒评估关注最终输出。检查任务成功率（如例如：代码 PR 通过率、数据库交易成功率）、用户满意度（如 CSAT 分数）和整体质量（如准确性或完整性）。

第二步为白盒评估（Inside-Out），指的是，白盒评估关注轨迹（Trajectory）。如果结果错了，或者效率太低，必须打开黑盒，检查智能体的思维链是否产生幻觉或逻辑混乱、工具调用选择（如是否选择了错误的工具，参数是否错误）、RAG 检索质量（如检索到的文档是否相关）以及多智能体间的协作动态（如智能体之间是否存在沟通死循环）。

如上图所示，Output evaluation为黑盒视角。Process evaluation为白盒视角。

1. 评判方法，谁来当裁判

这部分列出了从自动化指标到人机协同的五种评判手段。

Automated Metrics： 使用代码计算的指标（如ROUGE, BLEU, BERTScore），速度快但较浅层。

LLM-as-a-Judge： 用强大的大模型来评估另一个模型的输出质量 。

Agent-as-a-Judge： 用专门的智能体来审查执行过程（例如检查工具调用是否合理）。

Human-in-the-Loop： 人类专家介入，用于建立“金标准”数据和处理主观判断。

User Feedback and Reviewer UI： 收集真实用户的反馈，以及开发者通过审核工具给出的反馈。

1. AI Agents评估可观测性的三大基石

白皮书用后厨做比喻：传统监控是看流水线厨师是否按菜谱操作；AI 可观测性是像美食评论家一样，不仅品尝菜肴，还要观察米其林大厨的烹饪过程。

如图所示，实现可观测性需要三大基石：

Logs- 智能体的日记： 记录发生了什么。不仅是简单的文本，而是结构化的 JSON 数据，包含提示词、思维链、工具输入输出等 。

Traces- 智能体的足迹： 将分散的日志串联成一个完整的故事。这对于调试至关重要，能让你看到“用户提问 -> 工具调用失败 -> 导致最终回答错误”的因果链条。

Metrics- 智能体的体检报告：

   系统指标： 延迟、错误率、Token 成本。

   质量指标： 正确性、有用性、幻觉率。

最后，这份白皮书给开发者的核心建议是：质量是架构的一部分，而不是最后一步。 不建立深度可观测性（Logs、Traces、Metrics）和自动化的评估反馈回路，企业将无法构建出真正值得信赖的 AI 智能体。