我要投稿

硬核，DeepSeek拿下ACL 2025最佳论文，长文推理飙升11.6倍！

发布日期：2025-08-01 12:19:28 浏览次数： 3074

作者：PaperAgent

微信搜一搜，关注“PaperAgent”

ACL 2025奖项揭晓，DeepSeek 和北大联合完成，梁文锋署名的NSA论文斩获了「最佳论文奖」：《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》

还有三篇论文也获得最佳论文，分别是：

Paper1：《A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive》

Paper2：《Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs》

Paper3：《Language Models Resist Alignment: Evidence From Data Compression》

NSA 的架构包括三个部分：

刚刚，DeepSeek全新注意力机制NSA发布，超快速长文训练与推理~

压缩粗粒度token：通过将键和值聚合成块级表示，捕捉整个块的信息，减少注意力计算的负担。
选择性保留细粒度token：通过块选择机制，保留最相关的键和值，确保细粒度信息的保留。
滑动窗口：专门处理局部上下文信息，防止模型过度依赖局部模式，确保其他分支能够专注于学习全局信息。

在 64k 上下文长度下，NSA 的前向传播速度比 FlashAttention-2 快 9.0×，反向传播速度快 6.0×。
随着上下文长度的增加，NSA 的速度提升比逐渐增大，表明其在处理长序列时的效率优势更加明显。

在 64k 上下文长度下，全注意力模型需要访问 65536 个标记，而 NSA 只需要访问 5632 个标记，内存访问量减少了 11.6×（由于解码阶段的低算术强度和内存受限特性，预期的速度提升与内存访问量大致呈线性关系）。
随着上下文长度的增加，NSA 的内存访问量减少比逐渐增大，表明其在处理长序列时的效率优势更加明显。

最后，看一下第一作者来自哪里？冲~

https://arxiv.org/abs/2502.11089Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

推荐阅读

• Agents：Coze版‍" data-itemshowtype="0" linktype="text" data-linktype="2">动手设计AI Agents：（编排、记忆、插件、workflow、协作）

欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-02

Dify、LangChain、Cherry Studio、Milvus联手拆解大模型开发的未来范式

2026-02-02

Claude 5 真的要来了？代号 Fennec 曝光，性能或超 Opus 4.5

2026-02-02

史上最强编程模型Claude 5泄露，最慌的是黄仁勋？

2026-02-02

腾讯云程伟：拒绝AI焦虑，企业智能体如何从“工具”到“生产力”？

2026-02-02

思考｜Skills 不是插件，而是“封装好的微型智能体”

2026-02-02

Clawdbot值得借鉴的Agent架构设计经验

2026-02-02

X上点赞近万的Claude Agent SDK教程，到底讲了什么？

2026-02-02

GitHub 61.2k星标, 爆火神器Claude Code生产力直接翻10倍

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

Codex 史诗级更新！引入 Skills 技能库，直接兼容 Claude 生态，开发效率原地起飞

2025-12-09

国内版的 NotebookLM 来了，甚至更强

2025-11-12

GPT-5.1 有哪些提升？来自 OpenAI 官方 AMA 的能力、推理模式、安全策略全解读

2025-11-15

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

大家都在问

史上最强编程模型Claude 5泄露，最慌的是黄仁勋？

2026-02-02

腾讯云程伟：拒绝AI焦虑，企业智能体如何从“工具”到“生产力”？

2026-02-02

X上点赞近万的Claude Agent SDK教程，到底讲了什么？

2026-02-02

人人都在谈论ClawdBot，但你真的懂它的技术原理吗？

2026-02-02

刚刚，谷歌版「世界模型」震撼公测！网友实测炸翻天：游戏末日来了？

2026-01-31

Transformers V5正式发布！这次更新到底香不香？

2026-01-30

从 "实习生" 到 "超级专家"：Claude Skills 凭什么颠覆 AI 工作流？

2026-01-29

Agent Sandbox 深度解析：当 AI 学会“动手”，我们如何不被它“误伤”？

2026-01-28

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部