我要投稿

刚上线的大模型应用，为什么总是出现报错？

发布日期：2025-06-20 18:20:44 浏览次数： 2157

作者：IBM中国

微信搜一搜，关注“IBM中国”

这是企业在 AI 应用时面临的非常普遍的一个问题。主要问题在于企业的运维是滞后于开发的。虽然企业看到了生成式 AI 的价值，并快速在内部部署了大模型，上线了应用，但是企业团队并没有适应这种新技术，同时也缺少相应的工具去发现问题和解决问题，因此企业在实际使用过程中可能会遇到 API 报错，响应特别慢的情况，导致新应用的实际使用体验还不如没有 AI 能力的老应用，从而对企业的业务造成了很大的影响。

IBM Instana 可以解决这些问题。Instana 从最早的云原生时代就一直是非常好用的一款工具，现在也支持对生成式 AI 的监控，它可以监控大模型的运行环境、模型的框架，以及向量数据库这些AI的组件。对于应用的其他部分，比如说业务代码，前端页面，以及中间件，Instana 也可以同时监控。Instana 对于这些组件的监控是分为横向和纵向两个部分。横向指的就是对调用链路的监控，比如说一次转账的请求，它到底经过了多少个内部的业务系统？它有没有调用大模型？它有没有遇到报错或延迟高的情况，Instana 都可以自动的去捕捉、可视化，并且去发出一些告警。

Instana 对调用链路的横向监控

那么纵向的监控，则是对应用物理依赖关系的监控。比如一个应用，它跑在哪些服务器上，它部署在哪些数据中心里，Instana 都可以非常的直观展现出来。那么这种横向和纵向的监控，使得企业应用的可观测性前所未有的提高。

Instana 对应用物理依赖关系的纵向监控

我们曾经服务过一个客户，Instana 帮助他们把定位问题的平均耗时从四十分钟减少到了四分钟，使效率提升了十倍以上，那么问题得到了快速解决，收到的投诉自然就减少了。

这恰恰是 Instana 最大的优势之一，也就是上手快。Instana 使用的是单一代理的模式，也就是说，企业不再需要像以前一样，每个应用都需要部署一个代理程序，而是一个代理程序就可以自动的注入到服务器上所有的应用中，这个过程也不需要重启应用。另外一方面，Instana 也提供了开箱即用的内置告警，因此企业也不再需要花时间去进行配置。那么这些便利性的提升，使得我们在使用的时候最快在几小时内就可以从零开始看到结果。所以无论是对应急问题的处理，还是防范于未然，企业都是可以非常快速的看到 Instana 带来的业务价值。