OpenAI 无需向量化的RAG新范例：探索大模型时代的高效知识问答与模型选择之道

在当今数字化的浪潮中，各类智能客服系统已成为我们日常生活中不可或缺的一部分。这些系统旨在帮助用户从海量文档中迅速找到所需信息并提供答案。在大多数情况下，检索增强生成（RAG）技术是实现这类系统的首选方案。传统RAG通常涉及复杂的向量化过程，然而，OpenAI最近分享了一个令人耳目一新的问答系统开发案例，它同样基于RAG，却完全无需向量化。这究竟是如何做到的？本文将深入探讨这一创新范例，并进一步引申至通用的大模型选择策略，助您在实践中构建更高效、更智能的AI系统。

RAG的核心理念与OpenAI的创新突破

简单来说，RAG技术旨在解决大语言模型（LLM）在面对特定领域知识时的“失忆”问题或长文本处理的成本问题。想象一下，您想构建一个产品智能客服，但大模型本身并不知道您公司的产品信息。如果直接将冗长的产品手册（可能长达1000页）全部喂给模型，不仅成本高昂，模型还可能“读了后面忘了前面”。RAG的出现正是为了解决这一痛点：它能从浩如烟海的文档中，精准地提取与用户问题最相关的内容（例如，1000页手册中可能只有三段话相关），然后将这部分精炼过的信息与用户问题一并发送给大模型，使其能够基于相关信息给出准确回答。这种“先抽取相关内容，再根据这些内容回答用户问题”的方式，就是RAG的精髓。

传统RAG多采用向量化技术进行内容匹配，即将文本转换为数字列表（向量），通过向量相似度来查找相关内容。但OpenAI的新方案则另辟蹊径，其核心在于模拟人类阅读和思考的模式，实现了零向量化的Agentic RAG。

OpenAI无向量化RAG的五大核心环节：以法律知识问答为例

OpenAI的这一范例是一个法律知识问答系统，它在回答用户问题时，主要遵循以下几个步骤：

1. 文件加载 (Document Loading)： 系统首先会读取一份长达1000多页的PDF格式法律文件（例如《商标审判和上诉委员会程序手册，TBMP》）。它会从中提取文本内容，供后续使用。值得注意的是，虽然原始文件有1194页，包含约93万个Token，但考虑到GPT-4.1-mini模型上下文窗口大小为100万个Token，为了避免超出限制导致模型遗忘前面内容，该系统会策略性地只读取前920页内容，这部分内容刚好在模型上下文窗口可接受范围内。

2. 内容切割与挑选（层次化导航） (Content Chunking & Selection - Hierarchical Navigation)： 这是整个流程中最具创新性的环节，模拟了人类“从粗到细”的阅读方式。

• 多轮迭代：系统会重复多次“内容切割”和“内容挑选”操作（例如，共进行三轮）。

• 初始粗切：首先将整个法律内容切分为20个大块。

• 模型路由：将这些大块和用户问题一同发给GPT-4.1-mini模型。该模型基于其强大的自然语言理解能力，识别出哪些大块可能包含相关信息。选择GPT-4.1-mini的原因在于其巨大的上下文窗口（100万Token）和较低的成本，非常适合处理大量文本的初步筛选。

• 逐层钻取：在后续轮次中，模型会对上一轮挑选出的相关内容再次进行细致切割（例如，每个选定块再切分3份），然后再次让模型挑选，如此往复，直到找到与用户问题最相关的段落级别内容。这种迭代方式比一次性将文档切成数百份并让模型挑选的效果更好，因为切得太细碎反而可能让模型感到混乱。

• 思考板（Scratchpad）：在内容挑选过程中，系统会要求模型在选择前必须进行思考，并将思考过程存储在Scratchpad中。这个思考板的内容会带到下一轮，不仅提高了挑选的准确率，还使得模型的决策过程可追溯和可调试，极大地增强了系统的透明度。

• 生成答案 (Answer Generation)： 一旦确定了与用户问题最相关的几个段落，系统会将其与用户问题一起打包，发送给GPT-4.1大模型来生成初步答案。之所以选用GPT-4.1，是因为在这个环节中，答案的准确性至关重要。相比之下，GPT-4.1-mini模型“胡说八道”的概率会大很多。此外，由于此时输入模型的文本量已经大大减少，成本控制的需求也不再像内容挑选阶段那样强烈。

• 强制引用：为了确保答案的可验证性和溯源性，系统采用了一个巧妙的“字面量列表（List of Literals）”技巧，强制模型只能引用提供的特定段落ID。这意味着模型不会凭空捏造引用或随机高亮文本，而是必须将其回答中的每句话都与精确的源材料（如“0.0.5.0”等）关联起来。这对于法律问答这类对准确性和可追溯性要求极高的场景至关重要。

• 答案验证 (Answer Verification)： 答案生成后，系统并不会立即将其返回给用户，而是会进行答案验证。

• LLM-as-Judge：系统会将模型的初步回答、用户问题以及引用的段落内容，一同发送给O4（或o4-mini）模型进行验证。O4模型推理能力极强，非常适合判断答案是否基于引用内容回答、是否存在“胡说八道”的情况。

• 信心评估：验证结果不仅包含通过与否，还会给出模型对答案准确性的信心值（如“高”、“中”、“低”），这提供了额外的质量保障。

无向量化RAG的优劣与成本考量

这种创新的RAG方案带来了显著的优势，但也伴随一些权衡：

优势 (Benefits):

• 零摄入延迟：新文档可以立即用于问答，无需任何预处理或维护向量数据库。

• 动态导航：通过模仿人类阅读模式，能更灵活地处理复杂文档，理论上准确率更高。

• 跨章节推理：模型能够发现文档不同部分之间的关联，避免传统RAG因分块过小而可能错失的联系，提高了答案的准确性。

• 无需额外基础设施：整个系统只需通过API调用即可构建，无需向量数据库等额外基础设施维护。

劣势 (Tradeoffs):

• 单次查询成本较高：每次查询需要更多计算，导致成本比基于嵌入的传统RAG高。例如，一次查询的成本约为0.36美元。

• 查询时间更长：层次化导航过程比简单的向量查找需要更长的处理时间，增加了延迟。

• 可扩展性有限：对于极其庞大的文档集合，传统预处理（如向量化）可能仍然更高效。

尽管如此，对于那些对即时性、答案精确性、可溯源性和无需维护复杂基础设施有高要求的场景（如法律、医疗合规、金融法规或技术文档），这种Agentic RAG方法无疑是一个强大的解决方案。

通用模型选择智慧：构建多模态、多代理系统

OpenAI的实践案例不仅展示了创新的RAG，也蕴含着通用的大模型选择和组合智慧。OpenAI的模型大致可分为两大家族：

• GPT模型（如GPT-4.1, GPT-4o）：通常针对通用任务进行优化，擅长指令遵循和长上下文处理。

• o系列模型（如o3, o4-mini）：专为深度推理和多步问题解决而设计，擅长复杂、多阶段任务和工具使用。



核心洞察在于：使用更快速、更廉价的模型进行广度和初步筛选，然后将任务升级到更强大、更精确的模型进行深度分析、批判性审查和最终生成。这种分层方法能在保持创意和速度的同时，兼顾严谨性和准确性，并有效管理计算成本。



除了Agentic RAG，以下两个OpenAI的实际案例也印证了这一模型选择策略：

1. AI辅助制药研发（AI Co-Scientist for Pharma R&D）： 该系统模拟了一个高效的科研团队。

• 构思阶段：使用多个o4-mini实例（扮演“假设代理”、“方案代理”等不同角色）并行生成实验方案，充分发挥其速度和成本优势，同时利用外部工具调用（如化学数据库、成本估算器）将方案与真实数据结合。

• 排名阶段：o4-mini或o3对生成的方案进行配对比较，而非孤立评分，以获得更可靠的相对排名。

• 深度批判与合成：将排名前列的方案交给o3进行严格审查，o3扮演“资深科学家”，评估科学有效性、方法论、安全性和预算合规性，并提出改进意见。将构思与批判分离，并使用不同的模型，能有效避免模型自我辩护，提高客观性。

• 安全检查（可选）：GPT-4.1-mini可进行最后的特定安全风险检查。

• 人类审查与学习：最终方案由人类科学家审查批准，实验结果反馈给o3结合Code Interpreter进行分析，形成学习闭环。



1. 保险理赔表单处理（Insurance Claim Processing）： 该方案旨在数字化和验证手填保险表单。

2. 

• 第一阶段（OCR）：利用GPT-4.1强大的视觉（Vision）和OCR能力，以最高准确率从图像中提取文本，并将不确定性（如模糊的字符、缺失的字段）传递给下一阶段。

• 第二阶段（推理与验证）：利用o4-mini的推理能力来验证OCR结果的准确性，并使用函数调用（Function Calling）来解决不确定性，例如通过validate_email工具验证邮件地址，或通过search_web工具推断缺失的邮编和县名。o4-mini在这里提供了经济高效的推理能力。

• 结构化输出：整个过程使用Pydantic模型定义数据结构，确保输出格式的一致性和易用性。

• 思维链（Chain-of-Thought）：模型在处理过程中会产生思维链总结，这有助于理解模型的推理过程，并在开发中发现潜在的架构问题。

这些案例共同展示了结构化输出、工具集成、思考板/思维链、角色扮演、LLM作为评判者等关键技术在复杂多步AI系统中的应用。

从原型到生产的考量



将AI系统从原型阶段过渡到生产环境，需要细致的规划和执行。以下是需要重点关注的领域：

• 定义成功标准：明确可衡量的KPIs和SLOs（如RAG准确率、OCR成本、P95延迟）。

• 文档化模型选择理由：记录选择特定模型的理由，包括成本、延迟和能力权衡，以便于未来的更新和团队协作。

• 稳健的评估与测试：建立自动化测试套件和“黄金数据集”，持续评估模型的事实准确性、幻觉率、工具错误率，并进行边缘案例测试。

• 可观测性与成本控制：实施全面的日志记录，跟踪Token使用量、模型延迟和查询成本，并设置成本控制措施（如最大Token限制、不同运行模式）。

• 安全性与合规性：利用OpenAI的审核API、安全系统提示，强制人类介入（Human-in-the-Loop, HITL）审查低置信度或高风险的输出，并确保符合行业特定法规。

• 模型更新与版本管理：制定版本锁定策略、A/B测试框架和明确的回滚程序，以应对模型随时间演进带来的变化。

• 与非技术利益相关者沟通：将技术指标转化为业务影响，突出模型选择的权衡，并用具体示例说明价值。

结语

OpenAI的这些范例，特别是其无需向量化的Agentic RAG，充分展现了大上下文窗口的强大潜力。它不仅开启了高效知识问答的新篇章，更重要的是，为我们理解和构建复杂的AI系统提供了宝贵的实践指南。通过战略性地选择和组合不同的模型，并深度集成外部工具，我们可以模拟人类复杂的认知过程，构建出更加强大、可靠、可控且成本效益高的下一代人工智能应用。