我要投稿

教你本地复现Deep Research：DeepSeek R1+ LangChain+Milvus

发布日期：2025-02-11 07:56:00 浏览次数： 2777

作者：Zilliz

微信搜一搜，关注“Zilliz”

金融机构、律所、科研党的福音来了！

不久前，OpenAI 新推出了一项名叫 Deep Research（深度研究） 的功能，迅速风靡全球。

我们可以将其理解为大模型+超级搜索+研究助理的三合一。在这项功能里，用户输入查询问题后，只需要选择 Deep Research 选项，OpenAI o3 就能自动查找分析数百优质在线资源，并对其进行综合整理并加工，为用户生成一份具备专业分析师水准的综合报告。不仅内容生成更加详实，而且也更加精确可靠，足以替代普通人几小时甚至几十天的工作量。

Deep Research 因何风靡？

与普通搜索引擎相比，Deep Research优势一在于更专业，降低搜寻与内容评估成本。

它可以同时链接互联网、企业知识库、数据库等多种信息来源，并对其进行内容质量评估，优先展示那些相对高质量、高可靠性的内容，极大降低后续内容筛选付出的时间与精力。在这背后，Deep Research 可能在专有数据上进行了训练，并使用了端到端的强化学习等多种微调方法。

优势二则在于更精准的理解与生成内容的能力。

传统搜索主要依赖关键词匹配进行检索，无法理解用户查询以及召回内容的语义。Deep Research可以精准理解用户提问之外，并精准理解查询的网页内容，并帮助用户对要点、亮点进行提炼。在这背后，主要是由于Deep Research 迭代了基础模型，即基于即将发布的 OpenAI o3 推理模型，可以基于推理来搜索、解释和分析大量文本。

优势三则是更加的专业，结果一步到位。

基于规划、反思和记忆，Deep Research能执行多步骤任务，且会根据实时信息调整已有输出，生成结果结构清晰，省去了用户做drity work的时间。此外， Deep Research不仅能生成回答，还会根据我们自定义的输出格式、风格以及结构，生成专业报告。比如，其官方给出的案例中，通过Deep Research功能，OpenAI o3 可以自动查询过去十年GDP排名前十的发达国家以及发展中国家不同手机系统的普及率，并将其完整呈现在一张表格之中。

相应的， Deep Research在完成一些金融、科学、工程复杂任务过程中，具备绝对优势，不过，内容生成时间也会更久（大约数十分钟）。

为什么Deep Research 不是针对中国用户及企业的最优解？

Deep Research很好，但美中不足的是，OpenAI 不向中国大陆提供服务之外，Deep Research目前仅向订阅了 OpenAI 每月 200 美元 ChatGPT Pro 计划的用户提供，成本不低。

更重要的是，Deep Research 要想降低幻觉，依旧依赖本地知识库，然而对于大部分企业级用户来说，数据安全是条红线。

那么要如何解这个问题？本地部署是最佳解决方案。

对于国内用户，我们比较推荐DeepSeek R1 + LangChain+Milvus这个方案替代 Deep Research。

这个方案的优势有三：

1、相比OpenAI ，DeepSeek R1在使用成本上更低，与此同时，DeepSeek R1在中文任务上的表现更加符合国内用户的需求。

2、更高的灵活性，更低的门槛，这是一个松耦合的结构设计，我们可以根据需求轻松切换不同的大语言模型等底层配置。

3、更安全，通过本地部署支持亿级数据的高性能检索的Milvus，提升效率的同时，避免了企业隐私数据泄露的问题。

DeepSeek R1 + LangChain+Milvus部署方案

备注：为了降低部署难度，本篇文章仅做思路展示，并采用一些相对低门槛的“低配版”选型，比如：

开源的DeepSeek R1，我们会使用经过蒸馏并量化为 4 bit的版本，以方便我们在本地运行。
为方便展示，我们不再对推理模型进行额外微调，Agent 也不会回溯或调整方向。
囿于本地资源，查询范围，我们框定在 Wikipedia 页面，只执行单独的 RAG 查询（暂时不对全网数据进行搜寻）。
查找范围上，本篇只限定文本数据，不将图像、PDF 等数据纳入考量。

如果您对详细过程或部署质量有更高要求，欢迎关注我们后续的系列解读文章，并扫描文末二维码交流。

以下是详细的部署思路与流程：

第一步：定义/优化问题

首先，我们需要基于用户给出的问题，让推理模型对其进行优化，从而让问题表达得更具体、清晰。

也就是说，我们的第一步是重写提示并将其分拆成若干子查询或子问题，这一方面，可以发挥我们基础模型Deepseek R1在推理方面的专长，将其拆解为简单的 JSON 结构化输出。

以下是 DeepSeek 优化问题“演员阵容如何随时间变化？”的推理过程：

<think>Alright, so I need to break down the question "How has the cast changed over time?" related to the evolution of The Simpsons. Let me think about what aspects are involved here.
First, I know that the cast has changed a lot, but I need to figure out the intermediate questions to approach this. The main question is about changes in the cast over time, so I should consider different areas that contribute to this change.
I guess the first sub-question would be about the original cast members. Who were the main voices and how did they evolve? Then, there might be new cast additions over the years, so another sub-question about that.
Also, some original voice actors have left, so I should include a sub-question about departures. Then, new voice actors joining would be another point.
The show has been popular for a long time, so recurring roles changing might be another aspect. Additionally, the role of the show in society might have influenced casting choices, so a sub-question about that.
Lastly, the overall impact on the cast's careers could be another angle. So, I should list these as sub-questions to cover all aspects.</think>

第二步搜索

接下来，我们对 Wikipedia 文章进行“文献综述”，将搜索到的文章进行解析，并将数据存储到向量数据库 Milvus 中（目前，我们只阅读一篇文章，因为如果每个链接都调用推理模型，本地的推理成本会非常高）。

以下是如何使用 Milvus 的 LangChain 集成，将 Wikipedia 页面存储到 Milvus 中的代码示例：

wiki_wiki = wikipediaapi.Wikipedia(user_agent='MilvusDeepResearchBot (<insert your email>)', language='en')page_py = wiki_wiki.page(page_title)
text_splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=200)docs = text_splitter.create_documents([page_py.text])
vectorstore = Milvus.from_documents(# or Zilliz.from_documentsdocuments=docs,embedding=embeddings,connection_args={"uri": "./milvus_demo.db",},drop_old=True, index_params={"metric_type": "COSINE","index_type": "FLAT","params": {},},)

第三步分析

基于搜索结果，Agent 会对相关信息进行加工，并产生问题分析过程（多步骤分析/反思工作流程，以及信息来源可信度与权重判定，我们会在后续的系列文章中，进行详细展示）

以下是如何使用 LangChain 构建RAG，并回答问题的代码示例：

# Define the RAG chain for response generationrag_chain = ({"context": retriever | format_docs, "question": RunnablePassthrough()}| prompt| llm| StrOutputParser())
# Prompt the RAG for each questionanswers = {}total = len(leaves(breakdown))
pbar = tqdm(total=total)for k, v in breakdown.items():if v == []:print(k)answers[k] = rag_chain.invoke(k).split('</think>')[-1].strip()pbar.update(1)else:for q in v:print(q)answers[q] = rag_chain.invoke(q).split('</think>')[-1].strip()pbar.update(1)