免费POC，零成本试错
我要投稿
微信搜一搜，关注“Safphere”
DeepSeekV3.1揭秘UE8M0 FP8 Scale黑科技，国产芯片性能突破关键在此！核心内容： 1. UE8M0 FP8 Scale的技术解析与量化策略 2. FP8相比FP16/FP32的显存与计算效率优势 3. 国产GPU性能提升路径与DeepSeekV3.1训练扩展
UE8M0 是 DeepSeekV3.1 中提到的，在 FP8 训练中采用的一种参数精度配置：
E和M分别代表指数（Exponent）和尾数（Mantissa）的位数。
UE8M0的M=0并非字面意义的“0位尾数”，而是指动态尾数策略：
通过隐式归一化（如IEEE 754的隐藏位）或动态调整尾数精度（如Block-wise量化）实现灵活性。
实际实现中可能采用动态尾数分配（如根据指数范围动态调整尾数有效位）
根据 IEEE754 标准，浮点数在存储时分为三部分，符号位（通常1位）、指数位和尾数位。这样一来，浮点数的计算为 $(-1)^S * 2^(E-127) *M$（下面的图）。打个比方，浮点数 3.1 就可以表示为 0 10000000 10001100110011001100110。所以对于 UE8M0（论文 https://arxiv.org/pdf/2506.08027 有提到(下方图中)），U 代表 unsigned 表示无符号位，E8 表示用8位表示指数位，M0 表示不存储尾数。那么他的表示范围是多少呢？我们来根据上面的式子计算。符号位S不存在，为0。指数位有8位，范围是0到255。尾数不存在，默认1。这样一来 UE8M0 的表示范围为 2^{-127} to 2^{127}（但只能表示2的指数幂）。
UE8M0 的核心优势主要是计算效率提升，减低部署成本。
FP8 相比 FP16/FP32 减少 50%-75% 的显存占用，支持更大 batch size 或更长上下文（128K tokens）
在 NVIDIA H800 GPU 上，FP8 矩阵乘法速度比 FP16 快 2-3 倍
但与 OAI 开源的 gpt-oss 采用的FP4 还是有些差距。
希望在国产GPU上能拉进距离。
补充一些信息：
3.1做了外扩训练，增加了840B 的tokens。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业
2025-08-21
别再用老地图，寻找AI这片新大陆丨AI时刻
2025-08-21
GPT-5 提示工程指南
2025-08-21
Skywork技术论坛一手分享：Agent与多模态的落地真相｜甲子光年
2025-08-21
AI发展进入能动性阶段：上下文工程与模型能力并重 | 奇绩大模型笔记 #7
2025-08-21
企业微信，「奔向」AI一体化
2025-08-21
快手发布SeamlessFlow框架：完全解耦Trainer与Agent，时空复用实现无空泡的工业级RL训练！
2025-08-21
携程旅游的 AI 网关落地实践
2025-08-21
不增加 GPU，首 Token 延迟下降 50%｜LLM 服务负载均衡的新实践
2025-08-21
2025-05-29
2025-06-01
2025-06-21
2025-06-07
2025-06-12
2025-06-19
2025-06-13
2025-05-28
2025-07-29
2025-08-21
2025-08-20
2025-08-19
2025-08-19
2025-08-18
2025-08-18
2025-08-18
2025-08-15
回到顶部
粤ICP备14082021号