Context Infra 会是 AI 领域的下一个热点

大家好,我是 Jomy。过去两年,大家一说 AI Infra,第一反应基本都是模型层面的东西。更准确地说,大家讨论的大多是 LLM Infra


如果粗略看,最底层是算力和 GPU,典型代表是英伟达。再往上是模型和模型服务:OpenAI、Anthropic 更像闭源全生态平台,GLM、Kimi、DeepSeek、Qwen 则代表开源模型生态。再往上,是把模型做成 API、托管和推理服务的平台,比如 Fireworks、Together、Fal。


LLM Infra = GPU + 模型训练 + 模型推理。


这条链条当然很重要,也非常热。LLM Infra 很重,资本重、人才重、工程也重,肯定还是大生意。


但我的判断是:AI Infra 的中心正在迁移。


图片[1]-Context Infra 会是 AI 领域的下一个热点 - AI资源导航站-AI资源导航站


因为模型这个东西,长期看很像电力。


电很重要,但你用水电、火电、风电,最后只要稳定、便宜、好用,用户并不那么关心电是哪里来的。模型 API 也越来越像这样。很多开发者现在切模型,本质上就是换一个 API URL和一个 key。


模型会一直重要,但只靠模型 API,长期利润率一定会被压薄。因为它无状态,迁移成本低,又是重资本投入,还会被开源模型和价格竞争持续冲击。


模型公司当然还会很强,OpenAI、Anthropic 也会继续往前走。但如果只停在模型层,我们其实解释不了 AI 真正的大趋势:AI 正在从回答问题,走向接管任务。


只有 LLM 的时候,AI 主要还是问答、写作、搜索工具。Agent 出现之后,AI 开始进入客服、销售、研发、运营这些岗位里的信息工作。


这就是为什么我一直说:Agent 盯上的不是软件预算,而是工资表。SaaS 是辅助人,Agent 是替代一部分人的信息工作,所以它面对的市场会比传统软件大很多。


图片[2]-Context Infra 会是 AI 领域的下一个热点 - AI资源导航站-AI资源导航站


所以,从 AI Infra 到 Agent Infra,这个过渡其实很自然。



Agent Infra


进入 Agent 时代后,我觉得Infra需要一个新的公式:


Agent Infra = LLM Infra + Harness Infra + Context Infra


图片[3]-Context Infra 会是 AI 领域的下一个热点 - AI资源导航站-AI资源导航站



LLM Infra 解决的是:模型从哪里来。它包括 GPU、模型训练和模型推理,是整个 AI 的基础能力层。


Harness Infra 解决的是:怎么把模型变成稳定可用的 Agent。它包括工具调用、文件读写、任务循环、失败恢复等能力。没有 Harness,模型就只是一个裸 LLM,很难稳定完成复杂任务。


这个方向现在已经很多人在做。Codex、Claude Code 都是典型的 Harness。DeepSeek 最近也被报道在组建 Harness 团队,目标就是做类似 Claude Code 的 Agent 产品。开源里也有 OpenClaw、Hermes 这些项目。


模型厂做 Harness 是很自然的。因为模型和 Harness 可以互相优化。模型知道 Harness 怎么组织工具,Harness 也知道模型怎么调用工具,两边配合,效果会比裸模型好很多。


但 Harness Infra 本质上还是一个工程化很重的东西。长期看,大家都会支持类似的工具调用、文件读写、任务循环和失败恢复,形态会越来越趋同。


最近 Claude Code 针对国内用户的负优化,也提醒了大家:我们国内需要一个真正好用、可控的 Agent Harness,既能把模型能力发挥出来,也能摆脱海外这些恶心事。


我们最近也开源了 Zleap-Agent,一个面向本地小模型的Agent Harness。这个项目还比较早期,还在快速升级中。我们最重要的一个设计是 workspace:不要把所有东西都塞进一个越来越长的 prompt,而是让 Agent 像进入不同工作台一样,在不同 workspace 里看到不同的工具、上下文和记忆。


我希望 Zleap-Agent 里 workspace 的概念,也可以给行业里做 Agent Harness 的朋友一些启发。


不过,Harness 只是 Agent Infra 的一部分。现在还比较空白的,是 Context Infra。



Context Infra


Agent 跑得好不好,很大程度上取决于上下文好不好。


大家用 Codex、Claude Code、Cursor 的时候应该都有体感。你让它做一个项目,如果一开始没有把背景讲清楚,后面就要不停补充信息。你要告诉它项目背景、业务目标、代码结构和写作风格。


更烦的是,很多背景知识是重复介绍的。今天讲一遍,明天换个任务还要讲一遍。这个 Agent 讲一遍,换一个 Agent 又要讲一遍。


现在很多人把这个事情叫 Memory。但我觉得 Memory 这个词不够准确。


我认为:


Context = Memory + Know-How


图片[4]-Context Infra 会是 AI 领域的下一个热点 - AI资源导航站-AI资源导航站


Memory 更像 Agent 在对话中沉淀下来的记忆和经验。比如这个用户喜欢直接说结论,这个项目之前为什么改过一次架构,这个客户上次沟通卡在哪里。


Know-How 不一定来自 Agent 对话。它可能来自现实世界的会议、客户反馈和线下沟通,也可能来自数字世界的文档、代码、邮件和业务系统。


这些东西同样决定 Agent 能不能做出正确判断。


吴恩达最近提了一个很好的概念,叫上下文优势


人类现在相对 Agent 还有优势,很多时候不是推理能力更强,而是知道得更多。


你参加过会议,听过客户真实语气,知道老板没说出口的担心,知道团队之前踩过什么坑,也知道某个文档虽然写得漂亮但已经过时了。


但这些信息模型不知道。


Agent 没有那么多传感器,也没有自动接入人类过去的 know-how。它很多时候不是智商不够,而是站在一个信息极度残缺的位置上做判断。


最近火热的蒸馏员工,本质上,就是在消除人类的上下文优势。


当企业把人的经验、组织知识、业务状态和历史决策,都变成 Agent 可以消费的 Context,那一天 Agent 才真的有可能替代大量基础岗位。


这也是 Context Infra 的价值:让 Agent 获得持续、完整、可更新的上下文。


LLM Infra 提供能力,Harness Infra 提供运行环境,但 Context Infra 决定 Agent 到底理解谁、服务谁,以及如何个性化。



动态Context


现在 Context Infra 最大的卡点,是动态 Context。


静态知识库很容易理解:把文档传上去,切 chunk,做 embedding,检索。但真实世界是持续变化的。


项目每天在变,客户状态每天在变,代码每天在变,组织里的判断也每天在变。一个 Agent 真正在企业里工作时,它不是读一个知识库就完了。它每一次行动都会改变现场状态,每一次会议都会产生新信息,每一次客户反馈都会改变判断。


Context 是活的,会在使用中生长。

图片[5]-Context Infra 会是 AI 领域的下一个热点 - AI资源导航站-AI资源导航站


之前杨攀的《Context 即 Agent》文章里提到,Context 的难点是三件事:收集难、整理难、消费难。


我非常认同。Context Infra 要解决的就是:动态数据怎么持续进入,怎么被结构化,怎么被更新,怎么在需要的时候变成 Agent 能用的上下文。


我们 Zleap 很早就看到了这个问题。


我们的一体机,本质上就是本地化的企业 Context Infra。去年我们先从数据连接器做起,后来很快意识到,如果只有连接器,只是把数据搬进来,并没有真正解决动态上下文问题。


所以我们推出了 SAG。


传统 RAG 更适合静态文档。企业真实数据是持续变化的,而且有大量多跳关系。


SAG 的核心,是提出了用超图作为结构化的数据标准。它把原始数据拆成事项 event 和实体 entities,再通过关系扩展找到真正相关的证据。


这样做的好处是:动态关系可以持续更新,同时减少对重型静态知识图谱维护和向量相似度猜测的依赖,把动态数据组织成 Agent 可以消费的上下文结构。


有兴趣的可以自行查看我们的开源项目和 Paper。

开源项目:https://github.com/Zleap-AI/SAG

论文:https://arxiv.org/abs/2606.15971


SAG 解决的是收集和整理,接下来更重要的是消费。


我们会在近期推出基于 SAG、面向不同 Agent 的上下文插件,解决不同 Agent 共享 Memory + Knowledge 的问题,敬请期待。

图片[6]-Context Infra 会是 AI 领域的下一个热点 - AI资源导航站-AI资源导航站


网络效应


模型和 Harness 都更接近即插即用。


你今天用 Codex,明天用 Claude Code,后天换 Cursor,再接几个不同模型,大家现在基本都是这么用的。


但 Context 不一样,Context 本质上是数据,是资产。


它会一直沉淀,一直变化,一直升级。用得越久,越理解你的组织;接入越多,越知道真实业务;反馈越多,越知道什么信息有用,什么信息是噪声。


越多人使用,越多 Agent 使用,Context 越完整。Context 越完整,Agent 越好用。Agent 越好用,又会产生更多新的 Context。


这就是 Context Infra 的网络效应:数据沉淀和使用反馈,会持续提升下一次使用的效果。

图片[7]-Context Infra 会是 AI 领域的下一个热点 - AI资源导航站-AI资源导航站


但是我认为,2C 和 2B 会走两条不同路线。


对个人来说,Context 可以是云端的。个人用户更在意方便、同步、体验。只要隐私边界合理,云端 Context 可能是最自然的路线。


但对企业来说,Context 一定要本地化。这里的本地化,不是说一定要用本地算力,而是数据一定要掌握在自己手里。


因为 Context 本质上就是企业资产。客户、代码、历史决策和业务经验这些东西,如果沉淀在一个大公司的封闭格式里,未来迁移成本会非常高。


所以企业 Context 至少要满足几个条件:数据边界可控,可以快速导出,方便迁移,不被封闭格式绑架。


我们坚持开源,是希望 Context Infra 不被封闭格式锁住;我们做企业一体机,是希望企业能把 Context 真正掌握在自己手里。



最后


现在 AI 的大趋势已经很清楚了:用 Agent 替代人。


在完成这个目标的道路上,会经历三个阶段:


第一阶段的 LLM Infra 的问题基本解决了。至少对大量真实任务来说,模型已经足够可用,而且还会继续变强、变便宜。


第二阶段的 Harness Infra 也开始有很多选择,而且随着产品形态成熟,工程模式会越来越雷同。


但第三阶段的 Context Infra 还是比较空白。


Agent 真正替代人的关键,恰恰在于它能不能拿到足够好的 Context。也就是它有没有自己的 Memory + Know-How,知不知道业务怎么运转,知不知道过去发生过什么。


LLM 决定 Agent 的能力上限,Harness 决定 Agent 能不能稳定干活。


而 Context,才是 Agent 的灵魂。



© 版权声明
THE END
喜欢就支持一下吧
点赞99 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片