我要投稿
微信搜一搜，关注“跳动的数据”
专为混合专家模型设计的通信库DeepEP，优化数据传输，提升分布式训练效率。 核心内容： 1. 支持全交换GPU核心，实现高吞吐低延迟通信 2. 动态资源调控，根据任务需求调整SM数量 3. 支持低精度运算，加速大规模分布式训练
DeepEP 是一个专为混合专家（Mixture-of-Experts, MoE）和专家并行（Expert Parallelism, EP）设计的通信库。它提供了高吞吐、低延迟的全交换（all-to-all）GPU核心（kernels），即MoE的调度（dispatch）与合并（combine）操作，并支持FP8等低精度运算。
为适配DeepSeek-V3论文中提出的组限门控（group-limited gating）算法，提供了一组针对非对称域带宽转发优化的核心，例如将数据从NVLink域转发至RDMA域。这些核心具有高吞吐特性，适用于训练和推理预填充（prefilling）任务，同时支持流多处理器（Streaming Multiprocessors, SM）数量调控。
针对延迟敏感的推理解码场景，DeepEP包含一组基于纯RDMA的低延迟核心，以最小化通信延迟。此外，该库还引入了基于钩子（hook）的通信-计算重叠方法，此方法无需占用任何SM资源。
DeepEP主要解决MoE模型在分布式训练和推理中的通信瓶颈问题，通过优化数据传输和资源调度，实现“降本增效”。
高效的全对全通信（All-to-All）：支持节点内（NVLink）和节点间（RDMA）的高带宽通信，优化数据在不同专家子网络间的快速交换。
动态资源调控：基于群组限制门控算法（group-limited gating），动态分配GPU计算单元（SM）数量，任务多时增加资源，任务少时降低功耗，减少资源浪费。支持低精度运算：原生支持FP8格式，减少内存占用并加速计算，适用于大规模分布式训练
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-06-14
从天价咨询到免费AI，夸克能改变志愿填报这门生意吗？
2025-06-14
开源破局，中国AI正在改写全球竞争格局！
2025-06-13
MinerU-利用专用LLM模型提取PDF内容的工具实测
2025-06-13
官宣|Milvus 2.6正式开源：内存减少 72%，速度比ES快4倍
2025-06-13
CoCo：全球首个“有记忆”的企业级AI Agent
2025-06-13
OpenAI 三连更：Team 上线 o3-pro、o3 额度翻倍、Projects 大升级！
2025-06-13
Manus免费版来了！两大核心更新功能实测
2025-06-13
[开源]RAGFlow: 基于深度文档理解的开源RAG引擎
2025-03-19
2025-03-19
2025-03-17
2025-04-01
2025-04-01
2025-04-13
2025-04-29
2025-03-19
2025-03-23
2025-03-22
2025-06-14
2025-06-10
2025-06-08
2025-05-28
2025-05-28
2025-05-26
2025-05-25
2025-05-23
回到顶部
粤ICP备17114055号