2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

Context Infra 会是 AI 领域的下一个热点

发布日期:2026-07-02 10:48:37 浏览次数: 1565
作者:智跃Zleap

微信搜一搜,关注“智跃Zleap”

推荐语

AI Infra 正从模型层转向Agent与Context层,这是AI从问答走向任务执行的关键跃迁。

核心内容:
1. 从LLM Infra到Agent Infra的演进逻辑
2. Agent Infra三大构成:LLM、Harness与Context
3. Context Infra作为新热点的核心价值与市场前景

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

大家好,我是 Jomy。过去两年,大家一说 AI Infra,第一反应基本都是模型层面的东西。更准确地说,大家讨论的大多是 LLM Infra


如果粗略看,最底层是算力和 GPU,典型代表是英伟达。再往上是模型和模型服务:OpenAI、Anthropic 更像闭源全生态平台,GLM、Kimi、DeepSeek、Qwen 则代表开源模型生态。再往上,是把模型做成 API、托管和推理服务的平台,比如 Fireworks、Together、Fal。


LLM Infra = GPU + 模型训练 + 模型推理。


这条链条当然很重要,也非常热。LLM Infra 很重,资本重、人才重、工程也重,肯定还是大生意。


但我的判断是:AI Infra 的中心正在迁移。


Image


因为模型这个东西,长期看很像电力。


电很重要,但你用水电、火电、风电,最后只要稳定、便宜、好用,用户并不那么关心电是哪里来的。模型 API 也越来越像这样。很多开发者现在切模型,本质上就是换一个 API URL和一个 key。


模型会一直重要,但只靠模型 API,长期利润率一定会被压薄。因为它无状态,迁移成本低,又是重资本投入,还会被开源模型和价格竞争持续冲击。


模型公司当然还会很强,OpenAI、Anthropic 也会继续往前走。但如果只停在模型层,我们其实解释不了 AI 真正的大趋势:AI 正在从回答问题,走向接管任务。


只有 LLM 的时候,AI 主要还是问答、写作、搜索工具。Agent 出现之后,AI 开始进入客服、销售、研发、运营这些岗位里的信息工作。


这就是为什么我一直说:Agent 盯上的不是软件预算,而是工资表。SaaS 是辅助人,Agent 是替代一部分人的信息工作,所以它面对的市场会比传统软件大很多。


Image


所以,从 AI Infra 到 Agent Infra,这个过渡其实很自然。



Agent Infra


进入 Agent 时代后,我觉得Infra需要一个新的公式:


Agent Infra = LLM Infra + Harness Infra + Context Infra


Image



LLM Infra 解决的是:模型从哪里来。它包括 GPU、模型训练和模型推理,是整个 AI 的基础能力层。


Harness Infra 解决的是:怎么把模型变成稳定可用的 Agent。它包括工具调用、文件读写、任务循环、失败恢复等能力。没有 Harness,模型就只是一个裸 LLM,很难稳定完成复杂任务。


这个方向现在已经很多人在做。Codex、Claude Code 都是典型的 Harness。DeepSeek 最近也被报道在组建 Harness 团队,目标就是做类似 Claude Code 的 Agent 产品。开源里也有 OpenClaw、Hermes 这些项目。


模型厂做 Harness 是很自然的。因为模型和 Harness 可以互相优化。模型知道 Harness 怎么组织工具,Harness 也知道模型怎么调用工具,两边配合,效果会比裸模型好很多。


但 Harness Infra 本质上还是一个工程化很重的东西。长期看,大家都会支持类似的工具调用、文件读写、任务循环和失败恢复,形态会越来越趋同。


最近 Claude Code 针对国内用户的负优化,也提醒了大家:我们国内需要一个真正好用、可控的 Agent Harness,既能把模型能力发挥出来,也能摆脱海外这些恶心事。


我们最近也开源了 Zleap-Agent,一个面向本地小模型的Agent Harness。这个项目还比较早期,还在快速升级中。我们最重要的一个设计是 workspace:不要把所有东西都塞进一个越来越长的 prompt,而是让 Agent 像进入不同工作台一样,在不同 workspace 里看到不同的工具、上下文和记忆。


我希望 Zleap-Agent 里 workspace 的概念,也可以给行业里做 Agent Harness 的朋友一些启发。


不过,Harness 只是 Agent Infra 的一部分。现在还比较空白的,是 Context Infra。



Context Infra


Agent 跑得好不好,很大程度上取决于上下文好不好。


大家用 Codex、Claude Code、Cursor 的时候应该都有体感。你让它做一个项目,如果一开始没有把背景讲清楚,后面就要不停补充信息。你要告诉它项目背景、业务目标、代码结构和写作风格。


更烦的是,很多背景知识是重复介绍的。今天讲一遍,明天换个任务还要讲一遍。这个 Agent 讲一遍,换一个 Agent 又要讲一遍。


现在很多人把这个事情叫 Memory。但我觉得 Memory 这个词不够准确。


我认为:


Context = Memory + Know-How


Image


Memory 更像 Agent 在对话中沉淀下来的记忆和经验。比如这个用户喜欢直接说结论,这个项目之前为什么改过一次架构,这个客户上次沟通卡在哪里。


Know-How 不一定来自 Agent 对话。它可能来自现实世界的会议、客户反馈和线下沟通,也可能来自数字世界的文档、代码、邮件和业务系统。


这些东西同样决定 Agent 能不能做出正确判断。


吴恩达最近提了一个很好的概念,叫上下文优势


人类现在相对 Agent 还有优势,很多时候不是推理能力更强,而是知道得更多。


你参加过会议,听过客户真实语气,知道老板没说出口的担心,知道团队之前踩过什么坑,也知道某个文档虽然写得漂亮但已经过时了。


但这些信息模型不知道。


Agent 没有那么多传感器,也没有自动接入人类过去的 know-how。它很多时候不是智商不够,而是站在一个信息极度残缺的位置上做判断。


最近火热的蒸馏员工,本质上,就是在消除人类的上下文优势。


当企业把人的经验、组织知识、业务状态和历史决策,都变成 Agent 可以消费的 Context,那一天 Agent 才真的有可能替代大量基础岗位。


这也是 Context Infra 的价值:让 Agent 获得持续、完整、可更新的上下文。


LLM Infra 提供能力,Harness Infra 提供运行环境,但 Context Infra 决定 Agent 到底理解谁、服务谁,以及如何个性化。



动态Context


现在 Context Infra 最大的卡点,是动态 Context。


静态知识库很容易理解:把文档传上去,切 chunk,做 embedding,检索。但真实世界是持续变化的。


项目每天在变,客户状态每天在变,代码每天在变,组织里的判断也每天在变。一个 Agent 真正在企业里工作时,它不是读一个知识库就完了。它每一次行动都会改变现场状态,每一次会议都会产生新信息,每一次客户反馈都会改变判断。


Context 是活的,会在使用中生长。

Image


之前杨攀的《Context 即 Agent》文章里提到,Context 的难点是三件事:收集难、整理难、消费难。


我非常认同。Context Infra 要解决的就是:动态数据怎么持续进入,怎么被结构化,怎么被更新,怎么在需要的时候变成 Agent 能用的上下文。


我们 Zleap 很早就看到了这个问题。


我们的一体机,本质上就是本地化的企业 Context Infra。去年我们先从数据连接器做起,后来很快意识到,如果只有连接器,只是把数据搬进来,并没有真正解决动态上下文问题。


所以我们推出了 SAG。


传统 RAG 更适合静态文档。企业真实数据是持续变化的,而且有大量多跳关系。


SAG 的核心,是提出了用超图作为结构化的数据标准。它把原始数据拆成事项 event 和实体 entities,再通过关系扩展找到真正相关的证据。


这样做的好处是:动态关系可以持续更新,同时减少对重型静态知识图谱维护和向量相似度猜测的依赖,把动态数据组织成 Agent 可以消费的上下文结构。


有兴趣的可以自行查看我们的开源项目和 Paper。

开源项目:https://github.com/Zleap-AI/SAG

论文:https://arxiv.org/abs/2606.15971


SAG 解决的是收集和整理,接下来更重要的是消费。


我们会在近期推出基于 SAG、面向不同 Agent 的上下文插件,解决不同 Agent 共享 Memory + Knowledge 的问题,敬请期待。

Image


网络效应


模型和 Harness 都更接近即插即用。


你今天用 Codex,明天用 Claude Code,后天换 Cursor,再接几个不同模型,大家现在基本都是这么用的。


但 Context 不一样,Context 本质上是数据,是资产。


它会一直沉淀,一直变化,一直升级。用得越久,越理解你的组织;接入越多,越知道真实业务;反馈越多,越知道什么信息有用,什么信息是噪声。


越多人使用,越多 Agent 使用,Context 越完整。Context 越完整,Agent 越好用。Agent 越好用,又会产生更多新的 Context。


这就是 Context Infra 的网络效应:数据沉淀和使用反馈,会持续提升下一次使用的效果。

Image


但是我认为,2C 和 2B 会走两条不同路线。


对个人来说,Context 可以是云端的。个人用户更在意方便、同步、体验。只要隐私边界合理,云端 Context 可能是最自然的路线。


但对企业来说,Context 一定要本地化。这里的本地化,不是说一定要用本地算力,而是数据一定要掌握在自己手里。


因为 Context 本质上就是企业资产。客户、代码、历史决策和业务经验这些东西,如果沉淀在一个大公司的封闭格式里,未来迁移成本会非常高。


所以企业 Context 至少要满足几个条件:数据边界可控,可以快速导出,方便迁移,不被封闭格式绑架。


我们坚持开源,是希望 Context Infra 不被封闭格式锁住;我们做企业一体机,是希望企业能把 Context 真正掌握在自己手里。



最后


现在 AI 的大趋势已经很清楚了:用 Agent 替代人。


在完成这个目标的道路上,会经历三个阶段:


第一阶段的 LLM Infra 的问题基本解决了。至少对大量真实任务来说,模型已经足够可用,而且还会继续变强、变便宜。


第二阶段的 Harness Infra 也开始有很多选择,而且随着产品形态成熟,工程模式会越来越雷同。


但第三阶段的 Context Infra 还是比较空白。


Agent 真正替代人的关键,恰恰在于它能不能拿到足够好的 Context。也就是它有没有自己的 Memory + Know-How,知不知道业务怎么运转,知不知道过去发生过什么。


LLM 决定 Agent 的能力上限,Harness 决定 Agent 能不能稳定干活。


而 Context,才是 Agent 的灵魂。



53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅