RAG 真的能“不暴露私有数据”吗？答案是：可以

你是否认真考虑过 RAG 流水线中的文档隐私？这篇文章也许能提供一个有帮助的方向。

为什么“Standard RAG → Cloud Search”在隐私上行不通

Standard RAG 的做法是把明文文档塞进 prompt。对于企业合同、病历或个人笔记等输入，这是完全不可行的——从设计上你就在暴露敏感数据。

Parametric RAG (PRAG) 试图把知识“烘进”LoRA 权重，但在实践中碰上两堵墙：

1. 运维负担与时延。每份文档都需要各自的 synthetic Q&A 生成以及定制化的 LoRA 微调。在线服务时还要在这些 adapter 之间周转切换，真实世界的时延与运维开销难以接受。

2. 表示不对齐。模型从 synthetic Q&A 学到的内容，往往与 Standard RAG 的表征与检索方式对不上，导致在 OOD 输入上的泛化较弱。

什么是 DistilledPRAG？（一句话版）

通过知识蒸馏，让“学生模型”（parametric RAG）在对齐文档结构与内部激活的前提下，逼近“教师模型”（standard RAG）的推理能力，并且全程不发送明文。

实操要点

• 先合成，再对齐。构造 289,079 个覆盖单文档与跨文档场景的 Q&A 样本。对学生模型，用特殊的 mask tokens 替代原始文档；一个 parameter generator 将每份文档“翻译”为对应的 LoRA。随后在两条战线进行蒸馏——hidden states 与 output distributions——让学生对齐教师。

• 训练/推理同构。训练时拼接多份文档；推理时检索 top-k、拼接，然后生成一份 unified LoRA 来生成答案——而不是像 PRAG/DyPRAG 那样为每份文档各自生成 LoRA 再相加或取平均。

Figure 1 对比了 Standard RAG、PRAG、DyPRAG 与 DistilledPRAG 的推理模式。DistilledPRAG 会检索并拼接多份文档，然后“一次性”生成单个跨文档 LoRA——其输入流更接近 Standard RAG。

深入解析：DistilledPRAG 的三个核心组件

DeepSeek-V3 to mine knowledge from a single document and augmented cross-documents by random concatenation. 2. Train a parameter generator to map documents to a LoRA for student LLM, enabling it to mimic a teacher RAG's reasoning by minimizing differences in hidden states and logits on synthetic data. [Source]." class="rich_pages wxw-img" data-ratio="0.29907407407407405" data-type="jpeg" data-w="1080" style="max-width: 100%;height: auto;display: block;margin: 1.5em auto;border-radius: 5px;" data-imgfileid="100002890">

Figure 2 展示了 DistilledPRAG 中的 parameter generator 的工作方式：LongT5 对文档编码 → 按层索引的可学习 queries 执行 cross-attention pooling → self-attention encoder 进一步提炼信号 → FFN 产生目标 LoRA。仅训练 generator；base LLM 与 document encoder 均冻结。

合成数据：让跨文档推理成为默认模式

• 来源。随机从 2WQA 训练集采样 30,000 篇文档。生成约 139,723 个单文档 Q&A，再通过拼接生成约 149,356 个跨文档 Q&A——合计为 289,079。

• 目标。覆盖单文档事实，同时强化跨文档整合，让模型在多文档输入下学会生成单个、整体性的 LoRA。

parameter generator：从长文档到单个 LoRA 包

• Encoder。使用 LongT5 将文档映射为序列表征。

• Cross-attention。用按“layer”索引的可学习 queries 对文档表征做 cross-attention，得到 H0。

• Self-attention + FFN。进一步编码 H0，并直接回归目标 LoRA Δθ。

• 冻结部分。仅训练生成器 Genω；保持基础模型参数 θ 与文档编码器 ψ 冻结。

对齐目标：generation、hidden states 与 logits

• Generation loss。在文档被 mask、仅可见问题的输入条件下，最小化答案的 NLL。

• Hidden-state alignment。跨层的余弦损失 Lcos，采用逐层增权，靠近输出层权重更高。

• Logit alignment。token 级 KL 散度 LKL，用于对齐输出分布。

推理范式：与训练严格同构

用 BM25 检索 top-3 文档 → 按检索顺序拼接 → 用特殊的 mask tokens 替换文档得到 x~ → parameter generator 产出单个 LoRA Δθ → 使用适配后的基础模型 fθ+Δθ 回答。全程不暴露明文。

评价

设置。以各子任务 dev 集的前 300 个问题计算 F1 (%)。检索固定为 BM25（top-3）。训练仅使用 2WQA。基线包括 Standard RAG、PRAG、DyPRAG 与 PISCO。

主要结果：

• LLaMA-8B。DistilledPRAG 平均为 36.1，优于 Standard RAG（33.8），并明显领先 DyPRAG（29.6）与 PRAG（28.2）。在 CWQ（开放域复杂查询）上达到 49.0——在相同 base 的所有变体中最佳。

• LLaMA-1B。DistilledPRAG 为 28.3，对比 Standard RAG（24.6）、DyPRAG（18.3）与 PRAG（27.0）。

• Mistral-7B。DistilledPRAG 为 23.1，优于 Standard RAG（20.6）与 PISCO（21.6）。

结论。即便只在 2WQA 上训练，DistilledPRAG 在 HQA、PQA、CWQ 等 OOD 数据集上也能保持竞争力，甚至领先。证据表明，同时对齐结构与激活比单靠 synthetic QA 的迁移更有效。

思考

关键洞见在于把多文档证据压缩为一个跨文档的 LoRA，并用“二重对齐”（hidden states + logits）让学生模型在从未见过明文的情况下逼近教师的决策边界。本质上，这是把检索上下文从显式的 context window 转移到了隐式的 parameter channel。

两项现实成本值得注意：计算量随 mask 长度与 base model 规模增长；同时 generator 在 OOD 输入上的鲁棒性仍需压测。可以通过两点改进权衡：(a) 将单一、统计初始化的 mask 升级为分层、可组合的 token 集合；(b) 在 generator 中加入结构化稀疏与可验证的信息流约束——两者都旨在获得更好的延迟-隐私 Pareto。

进一步地，把“single LoRA”泛化为一个 task-graph-aware 的 LoRA 组件混合体，其中不同的证据簇激活可解释的低秩子空间；并行配套一个可审计的 retrieval trace，使多跳推理在可解释性与误差控制上同步增强，而非在多跳中累积失真。