AI大模型浪潮汹涌，RAG（检索增强生成）无疑是过去一年最火热的概念之一。

几乎所有人都认为，RAG是构建可靠AI应用，解决大模型“幻觉”问题的“银弹”。

然而，AI原生向量数据库Chroma的创始人Jeff Huber，却在一次顶级播客访谈中语出惊人：RAG是一个糟糕的概念，它让开发者忽略了真正重要的事情。

Jeff认为，当下所有顶尖的AI初创公司，真正擅长且赖以成功的核心能力，其实是另一个被低估的概念——Context Engineering（上下文工程）。

这篇信息量巨大的访谈，将带你深入了解AI应用开发的底层逻辑，揭开“RAG”的迷雾，并找到打造下一个爆款AI产品的关键。

Chroma的创业哲学：从“炼金术”到“工程学”

在很多人眼中，Chroma是开源向量数据库的代表。但创始人Jeff Huber却说，做数据库并非他们的终极目标，而是实现一个更宏大的愿景——将AI应用开发从“炼金术”变成“工程学”。

在过去，开发者构建AI应用就像在玩炼金术：把数据随便搅一搅，看看效果，一切都充满不确定性。

而Chroma的使命，就是为开发者提供可靠、可控的工具，让Demo到生产环境的鸿沟不再难以逾越。为此，他们专注于打造一套现代化的AI检索引擎，让信息检索变得像工程一样严谨。

Jeff认为，创业有两种流派：一种是完全跟随用户需求，做用户想要的东西；另一种则是坚持一个逆势而行的坚定观点，并为此疯狂专注。

Chroma选择了后者。即使面对托管服务的高速增长诱惑，他们也宁愿花费更长时间，也要打造出零配置、按需付费、能提供卓越开发者体验的云产品，因为他们深信，卓越的体验才是真正的护城河。

什么说RAG是个糟糕的概念？

Jeff毫不避讳地表示，自己非常讨厌“RAG”这个词。他认为，RAG将检索、生成、结合这三个不同的概念硬生生地拼凑在一起，造成了巨大的困惑。

更糟糕的是，它被简化成了一个肤浅的代名词——“做一次向量搜索”。

真正应该被关注的，是Context Engineering（上下文工程）。

什么是上下文工程？用Jeff的话说，上下文工程的任务，就是在每一次生成时，决定应该在上下文窗口里放什么。这就像在浩瀚的知识库中，精准地为大模型“喂”入最关键、最相关的信息。

为什么它如此重要？因为存在Context Rot（上下文腐烂）。当上下文窗口的Token数量急剧膨胀时，大模型的性能会随之下降。它会变得“健忘”，无法集中注意力，甚至忽略掉重要的指令。

Jeff和团队通过研究发现，虽然许多前沿模型都宣传自己能在百万Token的上下文中完美运行，但实际情况并非如此。

这种误导性的营销让许多开发者以为可以简单地“把所有东西塞进上下文”，从而忽视了上下文工程的巨大价值。他强调，所有做得好的AI公司，其核心都在于此。

实践：上下文工程的两种核心模式

既然不能一股脑地塞入所有信息，那应该如何选择最相关的？Jeff分享了两种他看到的有效模式：

• 多阶段检索（Multi-stage Retrieval）：

这是目前最常见也最有效的方法。

首先，使用向量搜索、全文搜索或元数据过滤等“第一阶段检索”手段，快速将候选范围从数万个缩小到数百个。

然后，再用大模型对这数百个片段进行重新打分和排序（Re-rank），最终挑出最相关的十几个或几十个。这种模式兼顾了效率和质量，并且成本极低。

• 混合搜索（Hybrid Search）：

Jeff认为，所有检索工具都应该被看作工具箱中的一部分。

例如，在代码搜索中，大部分查询用正则表达式就足够了，但为了追求极致的性能和用户体验，一些顶尖团队会引入Embedding，因为它能再带来5%到15%的提升。

他强调，在AI领域，做到80%的效果很容易，但从80%到100%的提升，才是真正有价值和竞争力的部分。

记忆、生成与基准测试的未来

Jeff认为，我们今天看待AI的方式，未来回过头看会显得非常粗糙。未来的检索系统将有几个趋势：

• • 持续检索：模型可能不再是“一次检索对应一次生成”，而是能边生成边检索，根据需要随时去查找信息。

• • 潜在空间里的工作：未来我们或许不再需要将信息从向量空间重新转为自然语言，模型可以直接在潜在空间里完成大部分工作。

此外，记忆（Memory）的本质也是上下文工程。Jeff认为，“记忆”是一个很好的拟人化概念，它让大众更容易理解。但它的实现，依然是如何把合适的信息放进上下文窗口。

最后，他特别提到了一个被低估的概念：生成式基准测试（Generative Benchmarking）。

他发现，开发者们往往有数据、有片段，但缺少高质量的查询。而通过让大模型根据片段来生成问答对，可以帮助我们构建一个“黄金数据集”，用来衡量不同检索策略的优劣。

他强调，高质量的小数据集比粗糙的大数据集更有价值。这对于所有AI开发者来说，是一个非常实用的启示。

创业的深层驱动力

在访谈的最后，Jeff分享了自己做多次创业的感悟。他认为，人生短暂，他只想和自己真心喜欢的人一起工作，去做真正热爱的事，去服务真心想服务的客户。

他坚信，影响力并非来自发明了不起的东西但无人使用，而是来自你发明的东西被尽可能多的人使用。而这种影响力，源于对产品细节的极致追求。一个团队如何做事，最终会体现在他们做的每一件事里。

这种对细节的执着，不仅是工程上的精益求精，更是创始人价值观的体现。它让公司的品牌、文化、产品体验保持一致，从而建立起真正的信任。