DeepSeek-V3.2-Exp 技术报告解读！全新稀疏注意力机制如何革新长文本处理效率

在人工智能领域，处理超长文本一直是语言模型面临的重大挑战。无论是复杂文档分析、长篇对话生成，还是多轮推理任务，模型需要在保持高性能的同时应对高昂的计算成本。

今天，DeepSeek-AI的研究团队推出了全新的DeepSeek-V3.2-Exp模型。这款实验性模型通过引入DeepSeek稀疏注意力机制（DeepSeek Sparse Attention，简称DSA），在长文本处理效率上实现了显著突破，同时保持了与前代模型相当的性能表现。这一创新成果不仅为学术界和工业界提供了高效的解决方案，还为大模型在长上下文场景下的应用开辟了新的可能性。

DeepSeek-AI的研究团队通过持续训练，将DeepSeek-V3.1-Terminus升级为V3.2-Exp，成功将稀疏注意力机制融入模型架构。以下，我们将从模型架构、训练过程、性能评估和未来潜力四个方面，深入剖析这一令人振奋的技术突破。

创新架构：DeepSeek稀疏注意力的核心设计

DeepSeek-V3.2-Exp的核心创新在于其稀疏注意力机制（DSA），这一机制通过“闪电索引器”（Lightning Indexer）和细粒度令牌选择机制，显著降低了长序列处理的计算复杂度。传统的注意力机制在处理长序列时，计算复杂度通常为O(L²)，其中L是序列长度，这使得长上下文任务的计算成本极高。而DSA通过智能选择与查询令牌最相关的键值对，将核心注意力计算复杂度降低至O(Lk) ，其中k远小于L，大幅提升了效率。

具体来说，闪电索引器通过计算查询令牌与前序令牌之间的索引分数，判断哪些令牌对当前任务最重要。这一过程采用了一个高效的多头索引机制，结合ReLU激活函数和FP8低精度计算，确保计算速度的同时保持精度。随后，细粒度令牌选择机制根据索引分数，挑选出前k个最相关的键值对，供注意力机制进一步处理。这种设计不仅降低了计算量，还在硬件加速（如H800 GPU）上表现出色。

为了与前代模型DeepSeek-V3.1-Terminus兼容，DSA基于多查询注意力（MQA）模式实现，确保了键值对在多个查询头之间的共享，从而进一步提升了计算效率。DeepSeek-AI还提供了V3.2-Exp的开源实现（https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp），让开发者能够深入了解其技术细节。

图1 | DeepSeek-V3.2-Exp的注意力架构图。图示展示了DSA在MLA框架下的实现方式，绿色部分突出显示了如何根据闪电索引器选择前k个键值对，大幅提升长序列处理效率。

训练策略：从密集到稀疏的平滑过渡

DeepSeek-V3.2-Exp的训练过程分为持续预训练和后训练两个阶段，确保模型在引入稀疏注意力机制后，既能保持性能，又能适应新的计算模式。

持续预训练：逐步优化稀疏机制

持续预训练分为两个阶段：密集热身阶段和稀疏训练阶段。在密集热身阶段，研究团队首先冻结模型除闪电索引器外的所有参数，专注于初始化索引器。为了让索引器的输出与主注意力分布对齐，团队设计了一个基于KL散度的损失函数，优化索引器对注意力分数的预测能力。这一阶段使用较高的学习率（10⁻³），训练1000步，处理约21亿个令牌。

随后，在稀疏训练阶段，模型引入细粒度令牌选择机制，全面优化包括索引器在内的所有参数。在这一阶段，研究团队继续使用KL散度损失，确保索引器在仅选择前2048个键值对的情况下，仍然能够准确捕捉主注意力分布。同时，主模型的优化则基于语言建模损失，以保证整体性能的稳定性。稀疏训练阶段使用了较低的学习率（7.3×10⁻⁶），训练15000步，处理约9437亿个令牌。值得一提的是，训练数据与DeepSeek-V3.1-Terminus的128K长上下文扩展数据保持一致，确保了模型在长序列任务上的连贯性。

后训练：多领域能力均衡提升

在后训练阶段，DeepSeek-V3.2-Exp延续了稀疏注意力的训练方式，并采用了与V3.1-Terminus相同的后训练流程，包括专家蒸馏和混合强化学习（RL）训练。专家蒸馏为每个任务（如数学、编程、逻辑推理等）训练了专门的模型，这些模型基于预训练的V3.2-Exp基础检查点进行微调。随后，通过大规模RL计算，生成特定领域的训练数据，确保模型在多任务场景下的表现均衡。

混合RL训练采用了Group Relative Policy Optimization（GRPO）算法，将推理、代理和人类对齐训练合并为一个阶段。这种策略有效避免了多阶段训练可能导致的灾难性遗忘问题，同时通过精心设计的奖励机制，平衡了生成长度、准确性和语言一致性等关键指标。

性能表现：效率与效果的双赢

DeepSeek-V3.2-Exp在多项基准测试中表现出色，与前代模型V3.1-Terminus相比，性能几乎没有下降，同时在长序列任务上实现了显著的效率提升。以下是一些关键评估结果：

• 通用任务：在MMLU-Pro基准上，V3.2-Exp与V3.1-Terminus均取得了85.0的精确匹配（EM）分数，显示出在通用知识问答中的一致性。在GPQA-Diamond和Humanity's Last Exam等测试中，V3.2-Exp的性能略低于前代（分别为79.9 vs 80.7和19.8 vs 21.7），主要原因是生成推理令牌数量较少。然而，当使用生成令牌数量相近的中间检查点时，这一差距被有效消除。

• 搜索代理任务：在BrowseComp和BrowseComp_zh测试中，V3.2-Exp分别取得了40.1和47.9的准确率，优于V3.1-Terminus的38.5和45.0，显示出在搜索相关任务上的改进。在SimpleQA测试中，V3.2-Exp的准确率达到97.1，略高于前代的96.8。

• 编程与代码代理：在LiveCodeBench和Codeforces-Div1等编程相关基准中，V3.2-Exp表现稳定，分别取得74.1和2121的评分，与V3.1-Terminus（74.9和2046）相当。在代码代理任务如SWE Verified和SWE-bench Multilingual中，V3.2-Exp的性能也与前代持平或略有提升。

• 数学任务：在AIME 2025测试中，V3.2-Exp的通过率达到89.3，略高于V3.1-Terminus的88.4；但在HMMT 2025测试中，V3.2-Exp的通过率为83.6，略低于前代的86.1。

这些结果表明，DeepSeek-V3.2-Exp在保持高性能的同时，通过稀疏注意力机制显著降低了计算成本。特别是在长序列任务中，DSA将注意力复杂度从O(L²)降至O(Lk)，结合优化的实现方案，在H800 GPU集群上的实际测试显示出显著的推理速度提升。

图2 | BrowseComp训练曲线。图中展示了DeepSeek-V3.1-Terminus和V3.2-Exp在BrowseComp任务上的强化学习训练曲线，实线表示准确率，虚线表示平均输出令牌数，显示两模型性能高度一致。

图3 | 推理成本比较。图示比较了DeepSeek-V3.1-Terminus和V3.2-Exp在H800 GPU集群上的推理成本，显示V3.2-Exp在长序列任务中的显著效率优势。

未来展望：迈向更广泛的应用场景

尽管DeepSeek-V3.2-Exp在内部测试中展现了优异的性能，DeepSeek-AI团队仍在积极探索其在现实世界场景中的表现。长上下文任务在实际应用中可能面临更多复杂性，例如多模态数据处理、实时交互需求等，稀疏注意力机制的鲁棒性仍需进一步验证。团队计划通过大规模真实场景测试，识别潜在局限性并优化模型设计。

此外，DeepSeek-V3.2-Exp的开源实现为全球开发者提供了宝贵资源。无论是学术研究人员还是工业界工程师，都可以通过访问https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp，深入探索DSA的实现细节，并将其应用于特定场景，如长文档分析、复杂对话系统或智能代理开发。

总结

DeepSeek-V3.2-Exp通过引入DeepSeek稀疏注意力机制（DSA），在长上下文任务的处理效率上取得了重大突破。其创新的闪电索引器和细粒度令牌选择机制，将注意力计算复杂度从O(L²)降至O(Lk)，显著降低了推理成本，同时保持了与前代模型DeepSeek-V3.1-Terminus相当的性能表现。通过精心设计的持续预训练和后训练流程，V3.2-Exp在通用任务、搜索代理、编程和数学等领域均展现出优异能力。未来，随着在真实场景中的进一步验证，V3.2-Exp有望为大模型在长文本处理领域的广泛应用奠定坚实基础。

技术报告链接：https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf