免费POC, 零成本试错
AI知识库

AI知识库

学习大模型的前沿技术与行业落地应用


收藏

Harness Inspector:让 Agent 交付过程可观察、可检查、可追溯

发布日期:2026-09-10 12:43:46 浏览次数: 1737
作者:phodal

微信搜一搜,关注“phodal”

推荐语

Harness Inspector让Agent交付过程可观察、可检查、可追溯,通过连接Session、文件活动与Git Commit,构建完整交付链路。

核心内容:
1. Agent交付过程仅看Session难判断行为逻辑与交付路径的问题
2. Harness Inspector工具:本地生成只读页面,整合Session、文件活动和Git Commit
3. 交付链定义:意图、过程、产出构成从需求到提交的完整链路

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

最近,我们一直在尝试优化 Better Harness 的 SKILL 自动沉淀能力:从 Agent 的真实会话中识别重复出现的工作路径,再判断其中哪些经验值得进一步沉淀成可复用的 SKILL。真正做起来以后,我们发现这件事远比“把一段 Session 分析一遍”复杂得多。

对于一次软件开发任务来说,Agent 的行为并不是孤立发生的。它从一个需求或者用户故事开始,经过对需求的理解、上下文探索、代码修改和验证,最终才形成一次可以被评审的代码贡献。只看中间的 Session,我们能看到 Agent 做了什么,却很难判断这些行为为什么发生,又有哪些行为真正进入了最后的交付。

因此,我们开始把一次 Agent 的交付理解成一条连续的链路。现在,只需要在项目目录执行:

npx @qoder-ai/better-harness inspector

就可以生成一个本地、只读的 Harness Inspector 页面,把当前项目中的 Agent Session、文件活动和 Git Commit 放到同一个交互界面里。

GitHub:https://github.com/QoderAI/better-harness

从 Session 到一次完整的交付过程

Harness Inspector 最初只是一个会话调试工具:帮助我们查看 Agent 说了什么、调用了哪些工具,以及修改了哪些文件。但随着 Session、文件活动和 Git 历史逐渐被连接起来,我们发现,真正需要观察的并不是会话本身,而是:

一次软件变更如何从一个意图出发,经过 Agent 的执行,最终形成可以进入工程系统的产出。

Session 只是这条链路的中间部分。

从意图到产出的交付链

我们将一次 Coding Agent 的交付拆成三个连续、但边界不同的部分:

  • • 意图(Intent) 是一次变化的语义化起点,例如用户的需求、Issue、Spec 或者架构约束。
  • • 过程(Process) 体现的是这次变化真正发生的过程,对于 Agent 来说,主要体现为 Session 记录以及其中的搜索、读取、修改和验证。
  • • 产出(Output) 则是 Agent 交付到工程系统的最终结果,现阶段最清晰的锚点就是代码 Commit。

所以,Story、Session 和 Commit 并不是三个并列的抽象概念,它们分别是 Intent、Process 和 Output 在当前软件开发工具链中的可观察对象(意图在不同场景下也可能表现为 Issue 或 Spec)。Harness Inspector 要做的,也不是把一段对话展示得更完整,而是重新建立这条从需求到提交、可以追溯的交付链路。

从叙述上看,它是一条连续的交付链;但在真实项目中,它更接近一张证据图。一个 Story 可能经历多个 Session,一段 Session 也可能涉及多个 Commit。

一个简单的示例:从 Story 到 Commit

我们在 Better Harness 文档页创建了一个只读的公开样本(英文示例数据,不读取本地内容):https://qoderai.github.io/better-harness/inspector。

只看 Session,我们只能看到它是一串搜索、读取、修改和测试活动,很难确定它是否一直围绕最初的需求展开,也不知道其中哪些修改真正进入了代码库。单独看 Commit,我们虽然可以看到最终修改了哪些文件,却无法知道 Agent 在提交之前如何理解问题、建立上下文和完成验证。

当 Story、Session 和 Commit 被放到同一个界面后,这次变化才成为一段相对完整的交付过程:Story 说明为什么要修改,Session 展示修改是怎样发生的,Commit 则记录最后留下了什么。

把需求、Agent 行为和代码提交连接起来,让我们第一次能够从整体上检查一次交付。但真正打开一些包含数百次 Tool Call 的真实 Session 后,另一个问题很快出现了:能够把一次交付连接起来,并不意味着我们已经能够读懂它。

Harness Inspector 如何读懂一次 Agent 交付?

围绕 Better Harness 的 Harness 模型,我们将 Harness Inspector 定义为:

Harness Inspector 是一个面向 Agent 交付过程的本地、只读工作台。它将需求、Agent Session、文件活动和 Git Commit 放在同一个交互界面中,用来检查一次软件变化为什么发生、怎样发生,以及最终留下了什么。

Harness Inspector 以一次完整交付为中心,围绕从需求到提交的链路,提供了三种观察方式:

  • • Workbench:查看需求、Session 与 Commit 之间的关系;
  • • Trace:查看 Session 内部的工作结构;
  • • Replay:按照事件顺序重新观察任务如何展开。

简单来说,Workbench 看关系,Trace 看结构,Replay 看顺序。三者共同帮助我们还原一个需求如何经过 Agent 的理解、探索、修改和验证,最终形成一次可以被评审的代码提交。

Workbench:连接需求、过程与产出

Workbench 是一次交付的整体视图。在左侧,我们可以看到触发这段 Session 的用户需求,以及执行过程中对目标的补充和调整;中间展示 Agent 在 Session 中发生的搜索、读取、工具调用和 Git 操作;右侧则是当前范围内观察到的 Commit,以及它最终修改的文件。

它关注的不是简单地把数据放在一起,而是展示需求、过程和产出之间已经观察到的关系。关系证据不足时,Inspector 会继续把它保留为候选或未映射,而不是自动拼出一条看起来完整的交付路径。

Trace:把 Session 读成一条工作轨迹

Workbench 帮助我们找到一次交付,Trace 则进一步展开其中的 Session。

进入 Session 后,Trace 会按照 Turn 组织用户输入、中间回复、Tool Call 和文件活动,并通过顶部的时间轴连接事件在时间上的位置。点击某个区段可以跳转到对应调用,连续重复的活动也会被折叠,避免大量相似操作淹没真正重要的变化。


Trace 并不试图还原模型没有暴露的思考过程,而是将已经记录下来的行为重新组织成一条可以阅读的工作轨迹,帮助我们检查 Agent 如何搜索上下文、修改代码和执行验证。

Replay:沿事件顺序回看一次交付

Replay 则沿着已经保留的事件逐步回看任务如何展开。Reviewer 可以依次查看用户输入、Agent 回复、Tool Call、文件和 Commit,观察 Agent 在什么上下文中形成方向,又在什么时候进行了修改和验证。

它只是一次只读的证据回放,不会重新运行工具、恢复工作区或者继续原来的 Session;没有精确时间的内容,也只保留顺序,不会补充没有被记录的过程。

Workbench 建立交付上下文,Trace 展开 Session 的工作轨迹,Replay 补充事件发生的顺序。三者共同把一次从需求到提交的 Agent 交付,变成可以逐层进入和检查的过程。当我们真正把一次交付读清楚之后,就可以回到最初的问题:这条轨迹里,哪些经验真正值得留下来。

从交付证据到 SKILL 沉淀

当一次交付能够被看清之后,我们才能重新回到最初的问题:Session 中的哪些经验,真正值得沉淀成 SKILL?

答案显然不是出现次数最多的 Tool Call。Agent 可能因为上下文不足而反复读取同一个文件,也可能因为命令失败不断重试;这些行为虽然频繁出现,却更可能是一次交付中的噪声,而不是值得复用的工程经验。

真正值得沉淀的,通常是一条能够在相似任务中重复出现,并且得到最终产出与验证结果支持的工作路径。例如,Agent 如何从需求中确定修改边界,如何建立必要的上下文,又如何完成修改、执行验证并检查最终结果。只有把这些行为放回对应的 Story、Session 和 Commit 中,我们才能判断它们是当前任务中的偶然选择,还是一套相对稳定、可以迁移到其他任务中的工作方式。

因此,SKILL 自动沉淀并不是将一段 Session 总结成新的 SKILL.md,而是从多次真实交付中识别稳定模式,再为它补充适用场景、上下文边界、执行步骤和验证方式。Inspector 当前解决的,正是这一过程最基础的一环:先让真实交付留下边界清晰、可以检查的证据。只有在此基础上,我们才可能进一步比较相似任务,形成 SKILL 候选,并在后续交付中验证它是否真的改善了 Agent 的工作方式。

结语:先看清交付,再沉淀经验

我们最初想解决的是,如何从 Agent Session 中识别可复用的工作路径。但真正分析之后会发现,Session 只能记录 Agent 做了什么,却无法单独解释任务为什么开始,也不能证明哪些行为最终形成了工程产出。

Harness Inspector 将需求、Session、文件活动和 Git Commit 重新连接起来,让一次 Agent 交付变得可以观察、检查和追溯。只有先看清一次交付,我们才可能判断哪些行为只是偶然选择,哪些路径值得进一步沉淀成 SKILL。

从 Session 到交付,再从交付中沉淀经验,这正是 SKILL 自动演进的起点。


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅