免费POC, 零成本试错
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


我要投稿

刚刚,DeepSeek新模型MODEL1曝光,3处架构升级!

发布日期:2026-01-21 08:51:05 浏览次数: 1569
作者:PaperAgent

微信搜一搜,关注“PaperAgent”

推荐语

DeepSeek最新模型MODEL1架构升级曝光,3大关键改进提升AI性能!

核心内容:
1. KV-Cache存储方式优化,物理排布更紧凑
2. 引入"extra"两段式cache新特性
3. 头维固定512×512,取消可变维度设计

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

刚刚,DeepSeek在更新FlashMLA的flash_mla_interface.py时,提到了一款新模型MODEL1,总共有4处修改。

Agentic AI,绕不开这两篇开年综述" data-itemshowtype="0" linktype="text" data-linktype="2">2026,做Agentic AI,绕不开这两篇开年综述

  Twitter压箱底的算法被马斯克开源了

从这段 diff 可以看出,MODEL1 在 MLA(Multi-head Latent Attention)KV-Cache 的存储与访问方式),与 V3/V3.2 系列有 3 个本质差异:

  1. 物理排布更“紧凑”
    V3 系列 FP8 块是 128 B 数据 + 16 B scale + 128 B RoPE 三段式;MODEL1 把 NoPE 与 RoPE 交错放在一起,紧接着就放 scale,整块只有 576 B(V32 是 656 B)。
  1. 引入了“extra” 两段式 cache
    函数签名里把原来写死的 “MODEL1 专用” 字样删掉,但 extra_k_cache / extra_indices_in_kvcache 参数仍然保留。
  1. 头维固定 512×512,彻底取消 128/192 等可变维度

注释把 “head_dim should be 512 while head_dim_v is also 512” 整段删掉,是因为代码里已经硬编码检查,不再支持其它尺寸。

https://github.com/deepseek-ai/FlashMLA/commit/48c6dc426f045cb7743b18f5c7329f35f1b7ed79

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询