什么是 Agents？

Agents 是 LLMs 中的协调平台，它们被设计用于整合多个 LLMs 的能力，甚至在没有 LLMs 的情况下也能自动执行任务，几乎无需人工介入。每个 Agent 能够独立处理特定任务，同时还能进行讨论、咨询、集思广益，并不断改进它们的工作成果。我们可以利用任一 LLM 来创建 Agents ，并让它完成各种任务。

来源：微软 Autogen^[2]，展示了不同类型的 Agent 及其在 Autogen 库中的作用

什么是 Agentic 方法？

Agentic 方法指的是将工作流程细分为更小、更独立的 Agents，这些 Agents 通过协作来解决问题。与让一个单一的系统包揽所有任务不同，这种方法是将职责分散给具备专业功能的 Agents，从而实现更高效和可扩展的解决方案。简而言之，这就像将不同的任务分配给不同的人，并指导他们通过团队讨论来共同打造出一个完善的解决方案，类似于我们在头脑风暴会议中的做法。

举例来说：

假设我们要构建一个基于 LLM 的简易问答系统。

在 LLM RAG 流程中，会有一个检索器，它负责根据用户提问检索出最相关的数据。接着将这些精选数据和问题一起发送给 LLM，由 LLM 生成答案。如果需要对答案的结构或内容进行优化，我们只需调整提示词，然后重复相同的步骤来检验答案。

采用 Agentic 方法，基于上述情况，我们可以创建三个 Agent：一个是负责检索任务的检索器 Agent，一个是负责生成答案的答案生成器 Agent，以及一个负责对答案进行反馈的答案验证 Agent。

当检索器 Agent 提供了相关数据后，答案生成器 Agent 和答案验证 Agent 将展开对话。在经过数轮的反馈和交流后，最终会得出一个恰当的答案。我可以为这两个 Agent 设定明确的提示词，以便明确它们的任务。同时，由于检索器 Agent 不需要 LLM 的功能，我们不会为其提供 LLM 的访问权限，它只需独立完成检索任务即可。

Image by author

上图准确地展示了我在前文中提到的程序。通过这幅图，我们可以清楚地看到如何利用 Agents 来自主完成各项任务。

Evaluation

在对智能体有了深入了解之后，接下来我们将探讨如何对智能体进行评估。

在机器学习（ML）或深度学习（DL）领域，我们通常面对的是离散的输出结果，因此它们的评估标准比较固定，也容易泛化。然而，当涉及到对 RAG 流程或智能体的评估时，情况就变得有趣了。RAG 评估引入了多种指标，如context relevancy、faithfulness、context recall、recall、toxicity、Recall@K、Precision@K等。智能体也可以依靠这些特定的指标来有效评估自身性能。许多原本用于传统系统的评估指标，如context relevancy、faithfulness 和 recall，同样也适用于智能体的评估。此外，还有一些专门的工具可以更加流畅地对智能体进行评估。

接下来，让我们逐一探讨这些评估工具。

3.1 Agentneo

Source: Agentneo 官方仓库

Agentneo 是由 ragaAI 公司推出的一款工具，它是一个面向 AI Agents 的观察、监控和评估框架的 Python SDK。它提供的功能包括追踪智能体（Agents）和 LLMs、工具使用情况，调试多智能体系统，提供一个可自行托管的仪表盘，以及具备时间线和执行流程图的高级数据分析功能。

首先，执行以下命令进行安装：

只需这个简单的安装步骤，就能在本地环境中成功部署 agentneo。

接下来的操作非常便捷。我们需要在智能体（Agents）初始化完成后，以及群组对话或交流开始前，启动追踪功能（简单来说，就是开启日志记录）。

这样就能开始监控智能体之间的对话。Agentneo 和很多应用一样提供了一个定制化的仪表盘，能够查看 Agents 各个方面的信息。

我们可以根据自己的需求来评估 Agents 的表现，并设定相应的评估指标。

群组对话和交流完成之后，结束追踪，并打开仪表盘。

你只需在浏览器中输入 http://localhost:3000，即可访问交互式的仪表盘。

Agentneo 仪表盘

在这个仪表盘上，我们可以追踪多种数据（包括分析数据、时间、LLM 的调用记录），以及 Agents 对话中非常重要的主要内容 —— Agents 之间的聊天内容。

它已经与多个智能体库如 Autogen 和 Crewai 实现了集成，未来还将接入更多智能体库。我使用过该库配合 Autogen，发现它是一个追踪 Agents 活动的优秀工具。

Github：Agentneo^[3] | RagaAI^[4]

3.2 Arize phoenix

Source: Official Arize phoenix website

Arize Phoenix 是一款开源的 LLM 追踪及评估工具，它通过以下几个方面来进行评估工作：

Phoenix 也适用于追踪 Agents 行为。它通过检测 Autogen 所依赖的底层模型库来实现这一功能。

开始使用前，您需要先安装相关库。

以下是您可以在本地运行的代码示例。

执行代码后，您将看到如下所示的仪表盘界面。

我之前尝试过 Agentneo，但说实话，Phoenix 我用的并不多，原因何在？当时我想使用 Phoenix 时，它并不支持谷歌的任何模型，并且对 OpenAI 模型的访问也受限。不过，我了解到他们可能现在已经支持了所有模型。

Notebook^[5] | Procedural Phoenix^[6] | LLM evaluation^[7]

3.3 TruLens

在许多应用中，我都使用 TrueLens 来跟踪和监控 RAG 流程。

Source: TrueLens github repository^[8]

TruLens 是一款能够客观评估基于 LLM 的应用程序性能的软件工具，它通过反馈机制来完成这一任务。这些反馈机制能够自动分析应用的输入、输出以及中间处理过程的质量，从而加速评估实验并实现规模化。TruLens 适用于多种场景，如自动问答、内容摘要、检索增强生成以及基于智能体的应用等。

TruLens 通过以下几种反馈机制来提升 LLM 应用性能并降低风险：

Final words

本文所有提及的工具都配备有各自的用户界面，您可以在本地主机上查看它们。依我之见，如果您的应用程序中包含了许多 Agents，那么进行跟踪就非常重要。您需要监控哪些方面，取决于应用程序的复杂程度及具体需求。在评估过程中，我通常觉得评估对话记录部分更有帮助，它能告诉我们各个 Agents 的具体行为，从而我们可以据此调整相应的提示词，并且还能帮助决定对话的轮数。