ZeroSearch：在不进行搜索的情况下激励大语言模型的搜索能力

推荐语

阿里巴巴通义团队开源ZeroSearch框架，开创大语言模型自主搜索新范式，无需依赖传统搜索引擎API。

核心内容：
1. 传统搜索引擎API在AI训练中的成本与质量挑战
2. ZeroSearch三大核心技术：监督微调、课程化展开和强化学习
3. 该框架对AI搜索领域带来的革命性影响与应用前景

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

传统搜索引擎的困境

传统搜索引擎API在训练AI系统时面临两大核心挑战：成本高昂与质量不可控。以谷歌搜索为例，训练过程中可能需要调用数十万次搜索API，成本极为可观。据官方数据显示，通过SerpAPI使用谷歌搜索进行约64,000次搜索查询的训练，成本约为586.70美元（约合4238元人民币）。

此外，外部搜索结果的质量不稳定也给AI训练带来挑战。搜索结果的相关性、准确性和权威性直接影响模型的学习效果，但这些因素往往难以控制。

ZeroSearch的核心创新

ZeroSearch的创新之处在于提出了一个反直觉但极为有效的理念：利用大模型自身在预训练中积累的知识，模拟搜索引擎的功能，从而在完全不依赖真实搜索引擎API的情况下，训练出具有强大搜索能力的LLM。

具体而言，ZeroSearch框架包含三个核心组件：

1. 轻量级监督微调：将大语言模型转化为检索模块，使其能够根据查询生成相关或噪声文档。这一过程充分利用了大模型在大规模预训练过程中积累的丰富知识，将其转化为检索能力。

2. 课程化展开机制：通过"逐步降低文档质量"的策略，让模型面对越来越具挑战性的检索任务，从而激发并提升其推理能力。研究人员解释道：“我们的核心洞见在于,大语言模型在大规模预训练过程中已获得了广泛的世界知识,并能够根据搜索查询生成相关的文档。真实搜索引擎与模拟用的LLMs之间的主要区别在于返回内容的文本风格。”

3. 强化学习框架：ZeroSearch支持多种强化学习算法，通过奖励机制优化模型的检索能力。在训练过程中，模型不再调用真实搜索引擎，而是由模拟引擎直接生成与查询相关或无关的文档，用以模拟搜索结果。

这种创新方法从根本上改变了AI搜索能力训练的方式，使模型能够"自学"搜索能力，而无需依赖外部搜索引擎API。

监督微调：检索模块的构建

ZeroSearch的第一步是通过轻量级监督微调，将大语言模型(LLM)转化为一个检索模块。这一过程的关键在于设计适当的提示词和训练策略，使模型能够根据输入查询生成相关内容，模拟搜索引擎返回文档的行为。

在监督微调阶段，模型学习将查询映射到相关文档集合，包括高质量的相关文档和一些噪声文档。这一步骤充分利用了大模型在预训练阶段积累的知识，将其转化为可检索的结构。

课程化学习：逐步提升挑战难度

ZeroSearch引入了课程化学习策略，通过"逐步降低文档质量"的方式，让模型面对越来越具挑战性的检索任务。这一机制的核心思想是：

1. 初始阶段，模型面对的是高质量、高度相关的文档，这有助于模型建立基本的检索概念
2. 随着训练的进行，系统逐渐增加噪声文档的比例和相关性的不确定性
3. 最终，模型需要在高度嘈杂的环境中准确识别和提取相关信息

通过这种课程化训练，模型的推理能力和搜索精度得到显著提升，能够更好地应对复杂的真实场景。

强化学习：优化搜索策略

在强化学习阶段，模型通过与环境（即由LLM模拟的搜索引擎）的交互，不断调整和优化其搜索策略。强化学习的核心组件包括：

• 智能体
  ：即被训练的LLM
• 环境
  ：由另一个固定的LLM模拟的搜索引擎
• 奖励函数
  ：评估搜索结果的质量和相关性

强化学习的目标是最优化以下公式：

其中， πθ是待优化的策略模型，πref是参考模型，rϕ 是奖励函数，πψ是模拟搜索引擎的大语言模型，其参数在训练过程中保持不变。

ZeroSearch支持多种强化学习算法，如PPO（Proximal Policy Optimization）和GRPO（Generalized Policy Optimization），使其能够适应不同场景和需求。

评测结果：超越谷歌搜索

研究人员在NQ（Natural Questions）、TriviaQA、PopQA、HotpotQA等7大问答数据集上对ZeroSearch进行了综合评测。结果显示，使用ZeroSearch框架后，模型的搜索能力显著提升：

• 一个70亿参数的监督微调模型使用ZeroSearch后，其搜索能力评分为33.06
• 140亿参数的模型更是达到了33.97
• 这一成绩成功超越了谷歌搜索的32.47

这些数据充分证明了ZeroSearch在提升LLM搜索能力方面的有效性，尤其是在复杂问答任务中表现出色。

成本效益：降低88%的训练成本

ZeroSearch最显著的优势之一是其极低的训练成本。在实验中：

• 使用谷歌搜索API进行训练的成本约为586.70美元（约合4238元人民币）
• 而在四个A100 GPU上使用140亿参数的大模型进行模拟时，成本仅为70.80美元（约合511元人民币）
• 这意味着成本降低了87.93%以上

这种成本优势不仅适用于大型企业，对于研究机构和小型开发者而言同样具有重要意义。通过ZeroSearch，开发者可以在不投入大量资金的情况下，训练出具有强大搜索能力的AI模型。

模型规模与性能的平衡

ZeroSearch的一个重要特点是其良好的规模适应性。实验表明，ZeroSearch在不同规模的基础型和指令微调型LLM上均表现出良好的泛化能力：

• 即使使用较小规模的模型（如3B参数），ZeroSearch也能有效提升其搜索能力
• 随着模型规模的增加，性能提升更加显著，但成本增加相对较少

这种特性使得开发者可以根据实际需求和资源情况，灵活选择适合的模型规模，实现性能与成本的最佳平衡。

多领域问答系统

ZeroSearch在问答系统领域具有广泛的应用前景。无论是通用问答、专业领域问答，还是需要综合多个信息源的复杂问题，ZeroSearch都能提供强大的支持。在NQ、TriviaQA、PopQA、HotpotQA等问答数据集上的优异表现证明了其在多种场景下的适用性。

智能助手与聊天机器人

随着AI助手和聊天机器人的普及，搜索能力成为其核心竞争力之一。通过ZeroSearch框架训练的模型能够更准确、更高效地回答用户问题，提供更优质的交互体验。这一应用对于智能客服、智能助手等场景尤为重要。

知识图谱构建与信息提取

ZeroSearch不仅可以用于直接回答问题，还能作为构建知识图谱和进行信息提取的基础工具。通过从大量文本中准确提取关键信息，ZeroSearch可以支持更复杂的语义理解和知识表示任务。

个性化搜索与推荐系统

ZeroSearch的灵活性使其能够轻松适应个性化搜索和推荐系统的需求。通过调整检索模块的参数和强化学习策略，可以实现针对不同用户偏好的个性化搜索结果。

开源生态与社区创新

阿里巴巴已将ZeroSearch的全部代码、数据集及预训练模型开源至GitHub和Hugging Face平台，这为开发者和研究人员提供了广阔的创新空间。开源社区的参与将进一步推动ZeroSearch的发展和应用创新。

技术演进路径

ZeroSearch代表了AI搜索领域的重要创新，未来可能沿着以下方向继续发展：

1. 多模态搜索能力：将搜索能力扩展到图像、视频等非文本领域，实现更全面的信息检索。

2. 实时更新机制：解决大模型知识更新滞后的问题，使搜索结果更加实时和准确。

3. 跨语言检索：增强多语言环境下的搜索能力，支持全球化应用场景。

4. 更智能的课程学习策略：开发更自适应、更高效的课程学习算法，进一步提升训练效果。

对AI搜索领域的深远影响

ZeroSearch的开源将对整个AI搜索领域产生深远影响：

1. 开源生态繁荣：ZeroSearch的开源将推动更多创新框架和工具的出现，丰富AI搜索的技术生态。

2. 学术研究新方向：围绕大模型驱动的搜索能力研究将吸引更多学术关注，催生新的研究方向和方法论。

3. 产业应用加速：随着成本降低和技术成熟，基于大模型的搜索能力将在更多商业场景中得到应用。

4. 技术标准形成：行业可能逐步形成新的技术标准和最佳实践，推动整个领域健康发展。

ZeroSearch作为一种创新的强化学习框架，通过无需调用真实搜索引擎API的方式，有效激励和提升了大语言模型的搜索能力。它不仅大幅降低了训练成本，还通过课程化学习机制和强化学习策略，显著提升了模型的搜索精度和推理能力。

在NQ、TriviaQA等问答数据集上的优异表现证明了ZeroSearch的有效性，而成本降低87.93%以上的惊人数据则展示了其巨大的商业价值。随着技术的不断成熟和开源社区的积极参与，ZeroSearch有望重塑AI搜索领域的格局，为更多开发者和企业带来创新机遇。

在这个信息爆炸的时代，搜索能力是AI系统的核心竞争力之一。ZeroSearch的出现不仅提供了一种新的搜索能力训练方法，更代表了一种新的思考方式——利用模型自身知识和强化学习，开发出更高效、更经济的AI解决方案。这或许将是AI搜索领域的重要里程碑，引领我们进入一个更加智能、更加普惠的搜索新时代。