2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

AI Agent 慢在哪?Node.js 探针把模型、工具和服务链路一次串起来

发布日期:2026-07-05 10:11:41 浏览次数: 1515
作者:阿里云云原生

微信搜一搜,关注“阿里云云原生”

推荐语

Node.js 探针如何打通 AI Agent 全链路监控,让慢速问题无处遁形。

核心内容:
1. Node.js 作为链路汇聚层面临的跨层监控挑战
2. 探针如何统一追踪异步调用、运行时健康与 AI 调用
3. 构建端到端可观测性的具体方法与价值

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

开篇:服务端不是没有监控,

而是问题变得更跨层了

Cloud Native

今天的团队并不缺服务端监控。

日志平台有了,基础指标有了,APM 也可能已经接过。真正让团队头疼的,往往不是“有没有数据”,而是当问题发生时,能不能把这些数据放进同一个上下文里。

比如,一个用户反馈:“AI 助手这次回答特别慢。”

查看入口 API,耗时确实高;排查数据库,没有明显慢 SQL;检查 Redis,命中率正常;翻阅日志,也没有错误。继续往下追,问题可能藏在一次 LangChain 工具调用里,可能是模型首 Token 延迟突然升高,也可能是 Node.js 事件循环被某段同步逻辑阻塞了 200ms。

服务端监控并不少见,但今天的 Node.js 服务已经不只是“接请求、查数据库、返回 JSON”。它越来越多地承担 BFF、API 网关、实时通信、队列消费、AI Agent 编排层这些角色。一次请求背后,可能同时跨过 HTTP、数据库、缓存、RPC、消息队列、运行时资源和大模型调用。

所以,这篇文章不想再讨论“服务端要不要监控”。答案当然是要。

我们真正想讨论的是:当 Node.js 应用变成业务流量、异步编排和 AI 调用的交汇点,如何用一套探针,把入口请求、依赖调用、运行时状态、日志上下文和 AI 调用放进同一条排障链路里。

为什么还需要一款新的 No



de.js 探针?




Cloud Native

不是因为服务端监控不存在,而是团队要解决的问题变了。

第一,Node.js 正在成为“链路汇聚层”,问题不再停留在单个接口里。

很多企业把 Node.js 用在 BFF、API 网关、前后端适配层和 AI 服务编排层。它不一定是最重的业务系统,却经常站在用户体验和后端依赖之间。入口慢了,用户首先感知到的是 Node.js 服务慢;但根因可能在数据库、缓存、下游 RPC、消息队列,或者模型调用。

更麻烦的是,Node.js 天然围绕 Promise、async/await、定时器、回调和事件循环运行。一次用户请求进入服务后,可能穿过多个异步边界,再去访问数据库、缓存和下游服务。如果 Trace ID 在 async/await 边界丢失,链路就会断成几截,最后只能看到一堆孤立的 span 或日志。

第二,运行时健康越来越影响业务体验。

接口变慢不一定是 SQL 慢,也可能是事件循环被同步任务阻塞 200ms、V8 堆内存持续上涨、GC 抖动、CPU 利用率异常,或者进程资源被耗尽。传统接口日志很难回答“Node.js 运行时本身是否健康”。

第三,AI 应用带来了新的观测对象。

越来越多 Node.js 服务开始承载 AI 能力。一次请求不只是 HTTP + DB,还可能包含 OpenAI 调用、LangChain/LangGraph 编排、Vercel AI SDK 的流式生成、工具调用、Embedding 和 RAG 检索。没有 AI 原生观测,开发者很难回答“慢在模型、工具、检索,还是自己的业务逻辑”。

第四,多工具组合会带来新的成本和复杂度。

传统 APM 擅长接口和数据库,但不一定覆盖 AI 调用;AI 观测工具擅长 Prompt、Token 和模型链路,却通常不做运行时指标和基础 APM;自建 OpenTelemetry 又需要自己维护导出器、插件、采样、资源属性和控制台能力。工具越拼越多,排障路径和运维成本也随之增加。

这就是 Node.js 探针的价值:不是再给团队一份“有数据”的监控,而是用一次接入,把传统 APM、AI 观测、运行时健康和生产配置运营放进同一个排障闭环。

破局思路:一次接入,全链路可观测




Cloud Native

我们的解法是阿里云 ARMS Node.js 探针。它基于 OpenTelemetry 核心数据模型构建,并面向 ARMS 做了端到端集成。核心设计理念可以用一句话概括:

一次接入,在业务代码之前完成自动装配,让 Node.js 应用的 Trace、Metrics、Logs 与上下文传播自然串起来。

接入包名为 @loongsuite/cms_node_sdk,其中 cms 沿用历史命名;在产品侧可以理解为 ARMS Node.js 探针接入包。

对于 CommonJS 项目,可以使用预加载方式:

ARMS_APP_NAME=your-app \ARMS_REGION_ID=cn-hangzhou \ARMS_LICENSE_KEY=your-license-key \node -r @loongsuite/cms_node_sdk/register app.js

对于 ESM 项目,可以使用 Loader 方式:

node --experimental-loader=@loongsuite/cms_node_sdk/import-hooks app.mjs

如果你希望在代码中显式管理生命周期,也可以使用编程方式:

const { NodeSDK } = require('@loongsuite/cms_node_sdk');const sdk new NodeSDK({  serviceName'your-app',  licenseKey'your-license-key',  regionId'cn-hangzhou',  workspace'your-workspace',});sdk.start();

更多配置项如采样策略、插件开关和资源属性,可在编程式初始化中按需添加。

探针在启动阶段完成几件关键事情:创建上下文管理器、Tracer、传播器、导出器、Meter、日志管理器,并注册内置自动埋点插件。之后,请求进入应用、访问数据库、调用下游服务、产生日志、触发运行时指标,都会被归入统一的可观测数据模型,并上报到 ARMS。

六大核心能力,补齐排障闭环




Cloud Native

能力一:零代码预加载,接入成本足够低

对很多生产系统来说,监控接入最难的不是“写几行代码”,而是“能不能不改业务逻辑、不影响启动方式、不打乱既有工程结构”。

ARMS Node.js 探针支持两种主流接入路径:

这意味着,无论你是传统 Express/Koa 服务、BFF、网关,还是 ESM 工程,都可以选择适合自己的接入方式。

ESM 模式基于 import-in-the-middle 实现模块拦截,支持对 ESM 依赖的自动埋点;如果项目中存在复杂的 Loader 组合,也建议在测试环境先验证模块加载顺序。

需要特别注意的是:如果使用编程方式,探针初始化必须放在业务模块 import/require 之前。这样才能确保 HTTP、数据库、缓存等模块在加载阶段被正确自动埋点。

能力二:主流框架与中间件自动埋点,链路不再散落

Node.js 应用的调用链通常不是单一 HTTP 请求,而是一张由框架、中间件、数据库、缓存、RPC 和消息队列共同构成的网。

ARMS Node.js 探针内置了覆盖服务端核心路径的自动埋点能力:

当一次请求进入应用后,探针会自动创建服务端 span;当它继续访问数据库、缓存或下游 HTTP 服务时,子调用会被纳入同一条链路。无需在业务代码中逐处手动打点,更无需在事故发生后临时补埋点。

对于日志场景,探针会把 Trace 上下文带入 Console、Pino、Winston、Bunyan 等日志输出中,让日志与链路可以在同一个上下文下关联查询。

在 ARMS 控制台中,你可以看到一次请求从入口到下游依赖的完整路径:哪个接口慢、哪个 SQL 慢、哪个 Redis 操作频繁、哪个下游服务超时,都会出现在同一个上下文里。

能力三:异步上下文传播,让 Trace 真正连起来

Node.js 的异步模型是服务性能的优势,也是链路追踪的难点。

ARMS Node.js 探针默认使用 AsyncLocalStorage 管理上下文;在预加载模式下,对不支持 AsyncLocalStorage 的低版本运行时会自动降级为 AsyncHooks 方案。它会在异步边界之间保存当前 span,让 Promise、async/await、回调和定时器里的子操作仍然能找到自己的父链路。

同时,探针内置 W3C Trace Context 与 Baggage 传播能力:入口请求可以提取上游 Trace 上下文,出口请求可以自动注入追踪头。这样,Node.js 服务不再是链路中的孤岛,而是可以和 Java、Go、Python、前端、网关以及下游服务串成完整拓扑。

当一个用户反馈“支付接口偶发慢”时,排障不再停留在 Node.js 进程内部,而是可以一路追到数据库、缓存、第三方接口,甚至后端微服务。

能力四:运行时指标,洞察事件循环、V8 和进程健康度

很多 Node.js 性能问题,不会直接表现为业务异常。

事件循环被 CPU 任务阻塞,接口会整体变慢;V8 堆内存持续上涨,最终可能触发频繁 GC;进程 CPU、RSS 内存或线程池资源异常,可能让服务在高峰期变得不稳定。

ARMS Node.js 探针内置 Runtime 指标采集能力,覆盖:

  • Event Loop 延迟分布(含 min、max、mean、stddev、P50/P90/P99 等指标)和利用率;

  • V8 堆内存与 GC 指标;

  • 进程 CPU 时间、CPU 利用率、物理内存、虚拟内存、线程数。

这些指标会通过 MeterManager 周期收集,并以 gzip + protobuf 的方式上报到 ARMS。你既可以从接口视角看“哪条链路慢”,也可以从运行时视角看“为什么整个服务慢”。

其中线程数为基于 CPU 核心数与 libuv 线程池大小的估算值,适合用于趋势观察;如果需要精确线程数,可结合系统侧或 Native 能力补充采集。

这对高并发 API、长生命周期服务、实时通信服务和 AI 推理编排服务尤其重要。很多时候,真正的根因并不在某一行业务代码,而在运行时资源状态的变化趋势里。

能力五:AI 原生观测,看清模型、Token、流式响应和工具调用

Node.js 正在成为 AI 应用的重要服务端运行时。越来越多团队使用 OpenAI SDK、LangChain.js、LangGraph、Vercel AI SDK 或 Anthropic Claude SDK 等框架与 SDK 构建智能客服、代码助手、数据分析 Agent 和内部效率工具。

AI 应用的排障问题和传统 Web 服务不同。你需要知道:

  • 模型调用耗时是多少?

  • 输入、输出 Token 分别是多少?

  • 首 Token 延迟是否异常?

  • 流式响应中断在哪里?

  • Tool Call、RAG 检索、Embedding、Rerank 是否拖慢整体链路?

  • 一次 Agent 调用里,模型、工具、数据库和外部 API 的关系是什么?

ARMS Node.js 探针内置 AI 方向的自动埋点,覆盖 OpenAI、LangChain、LangGraph、Vercel AI SDK、Anthropic Claude SDK 等场景,并结合 GenAI 语义采集模型调用、Token 使用、流式响应、工具调用和错误信息。

这意味着 AI 应用不需要再把模型平台日志、业务日志、链路日志分开排查。一次用户提问,从 Node.js API 入口,到 Agent 编排,到模型调用,再到工具和数据库访问,都可以放在同一条链路中分析。

能力六:远程动态配置,生产排障不必重启

生产环境的监控配置需要能“动起来”。

ARMS Node.js 探针支持从控制台下发远程配置,探针启动约 60 秒后首次拉取远程配置,此后每 60 秒轮询一次,配置变更无需重启应用即可生效。当前支持的动态能力包括:

  • 调整采样策略:全量采样、关闭采样、固定比例采样;

  • 调整 Span Attribute 限制:控制属性长度、数量、事件和链接上限;

  • 启用或禁用插件:按需关闭某个数据库、缓存、HTTP 或 AI 插件。

这在生产排障中非常实用。

当流量升高时,可以临时降低采样率,控制成本和开销;当某个插件与业务库版本存在兼容风险时,可以临时关闭;当需要排查疑难问题时,可以短时间提高采样率,问题解决后再恢复。

监控系统不应成为业务发布的阻力动态配置让探针更像一套可运营的生产工具,而不是一次性接入的静态 SDK。

和常见方案比,优势在哪?




Cloud Native

对比一:vs 只靠日志排障

日志很重要,但日志不是链路。

日志适合记录业务事件,探针适合还原系统行为。两者结合,排障效率会明显提升。

对比二:vs 自行拼装 OpenTelemetry JS

OpenTelemetry JS 是优秀的开源标准方案,生态开放、协议通用。但对于企业用户来说,真正落地时往往还要继续解决一批工程问题:导出器怎么接、采样怎么配、插件怎么选、资源属性怎么统一、日志如何关联、AI 应用如何观测、控制台如何动态下发配置。

ARMS Node.js 探针基于 OpenTelemetry 核心数据模型构建,并针对阿里云 ARMS 做了端到端集成。对于已经使用阿里云可观测体系的团队来说,它更像是“开箱即用的生产化探针”,而不是一组需要自己装配的底层组件。

简单来说,OpenTelemetry 提供标准积木;ARMS Node.js 探针提供面向生产环境的完整接入路径。

对比三:vs 传统 APM Node Agent

传统 APM Agent 往往擅长 Web、数据库和基础链路,但面对现代 Node.js 应用的变化,还需要覆盖更多新场景:ESM、AI SDK、Agent 框架、Token 统计、流式响应、远程动态配置、跨语言语义一致性。

ARMS Node.js 探针的优势在于:

  • 深度集成 ARMS 控制台;

  • 默认覆盖 Node.js 服务端主流库;

  • 支持 Trace、Metrics、Logs 三类可观测信号;

  • 支持 OpenAI、LangChain、LangGraph、Vercel AI SDK 等 AI 场景;

  • 支持远程配置动态生效,适合生产环境运营;

  • 支持 OTLP/ARMS 上报链路,兼顾标准化与平台能力。

快速接入:比你想象的简单




Cloud Native

前提条件

  • 建议使用 Node.js 16.x 及以上版本,生产环境推荐 Node.js 18 或 20 LTS;

  • 项目使用 npm、yarn 或 pnpm;

  • 编译环境可以访问公网或阿里云内网,安全组已开放 80、443 出方向;

  • 已获取 ARMS LicenseKey 和 Region ID。

第一步:安装探针

npm install @loongsuite/cms_node_sdk

也可以使用 yarn 或 pnpm:

yarn add @loongsuite/cms_node_sdkpnpm add @loongsuite/cms_node_sdk

第二步:配置环境变量

export ARMS_APP_NAME=your-appexport ARMS_REGION_ID=cn-hangzhouexport ARMS_LICENSE_KEY=your-license-key

探针同时兼容部分 CMS_ 前缀的旧版环境变量,便于存量团队逐步迁移;新接入项目建议统一使用 ARMS_ 前缀。

Docker 环境可写入 Dockerfile:

ENV ARMS_APP_NAME=your-appENV ARMS_REGION_ID=cn-hangzhouENV ARMS_LICENSE_KEY=your-license-key

第三步:启动应用

CommonJS 项目推荐使用预加载:

node -r @loongsuite/cms_node_sdk/register app.js

ESM 项目推荐使用 Loader:

node --experimental-loader=@loongsuite/cms_node_sdk/import-hooks app.mjs

需要编程式控制时:

const { NodeSDK } = require('@loongsuite/cms_node_sdk');const sdk new NodeSDK({  serviceName'your-app',  licenseKey'your-license-key',  regionId'cn-hangzhou',  workspace'your-workspace',});sdk.start();

第四步:验证数据

应用启动后,约一分钟内可在 ARMS 控制台的“应用监控 > 应用列表”中看到接入应用。进入应用详情后,可以查看应用拓扑、接口调用、调用链路、SQL 分析、运行时指标等数据。


性能与开销:

监控应该帮助业务,而不是拖慢业务

Cloud Native

监控 SDK 的价值在于帮助发现问题,而不是成为问题本身。

ARMS Node.js 探针在设计上遵循“低侵入、可采样、可关闭、可恢复”的原则:

同时,探针默认开启环境、进程、主机与 Kubernetes 资源检测,帮助应用自动补齐服务名、主机、进程、容器和工作负载等资源属性,减少接入后还要手动维护标签的成本。

应用退出时,预加载模式会监听 SIGINT 和 SIGTERM,并调用 shutdown() 依次关闭自动埋点插件、TracerManager、MeterManager 和 LogManager,尽量把缓冲数据刷出并恢复补丁。

在常规业务场景下,探针对应用性能的影响很低。对于高并发、高敏感链路,建议结合压测结果设置合理采样率,并按需关闭未使用的插件。

适用场景




Cloud Native

企业级 Node.js Web 服务。

适用于 Express、Koa、BFF、API 网关、企业内部系统等场景,帮助团队快速建立接口性能、错误率、依赖调用和拓扑视图。

微服务与分布式系统。

适用于服务数量多、下游依赖复杂、需要跨语言追踪的系统。通过 Trace Context 和 Baggage 传播,Node.js 服务可以和 Java、Go、Python 等服务共同组成完整链路。

数据库和缓存密集型应用。

适用于大量使用 MySQL、PostgreSQL、MongoDB、Redis、ioredis 的系统。慢 SQL、缓存热点、下游依赖耗时都可以进入同一条请求链路。

AI/Agent 服务端应用。

适用于智能客服、AI 编程助手、RAG 问答、数据分析 Agent 等场景。可以观测 OpenAI、LangChain、LangGraph、Vercel AI SDK 等调用过程,分析 Token、工具调用、流式响应和模型耗时。

长生命周期 Node.js 服务。

适用于实时通信、队列消费、后台任务、常驻 Worker 等场景。Runtime 指标可以帮助发现事件循环阻塞、堆内存增长、GC 异常和进程资源问题。

需要动态运营监控配置的生产系统。

适用于对稳定性要求高、不能频繁重启的业务。采样、Span 限制、插件开关可通过控制台动态下发,让监控策略跟随业务状态调整。

结语




Cloud Native

Node.js 让服务端开发变得高效而灵活,但也让生产排障进入了一个更加复杂的时代:异步上下文、海量生态模块、数据库与缓存依赖、运行时健康、AI 调用链路,每一层都可能成为问题根因。

ARMS Node.js 探针的目标很简单:让 Node.js 应用的可观测性像接入一个 npm 包一样简单。

一次接入,自动覆盖 HTTP、框架、数据库、缓存、RPC、消息队列、日志、运行时和 AI 调用;一条链路,串起用户请求、服务逻辑和下游依赖;一个控制台,动态管理采样、插件和数据上报策略。

服务端链路可观测,从此触手可及。

立即体验:登录阿里云 ARMS 控制台(https://cmsnext.console.aliyun.com/next/home),创建应用监控接入配置,获取 LicenseKey 后即可开始接入 Node.js 探针。

技术支持:如在接入过程中遇到问题,可通过钉钉答疑群(群号:23155358)与阿里云可观测团队交流。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅