我要投稿
微信搜一搜，关注“连通梦想”
前段时间写了篇英伟达IB组网的文章《256台H100如何组建集群？》，很多网友要求分享1024台服务器怎么组集群。刚好最近公司在建设华为昇腾910B集群，简单分享一下采用RoCE组网的“万卡集群”。
集群的物理网络按不同功能设计为4个网络：
业务网络/带内管理网络：主要用于系统业务调度与管理。当然，也可以将业务网络与带内管理网络可以分开。
带外管理网络：每个AI服务器或存储服务器提供1个GE网口接入到GE 交换机，接入到管理区网络，主要用于集群设备的带外管理与操作。
Spine采用华为框式RoCE交换机CE16808，Leaf采用华为盒式RoCE交换机CE9860。
Spine交换机（CE16808）：每台交换机8块业务板，8业务板* 36端口/业务板*400G=288个400G端口。
Leaf交换机（CE9860）：每台交换机4块业务子板，共16个上行400G端口+16个下行400G端口（一分二变为32个下行200G端口）。
再附上一张“Spine交换机-Leaf交换机-AI服务器”端口连线图，有点复杂，感兴趣的可以仔细琢磨一下，不感兴趣的直接跳过，哈哈。
以上16台Spine交换机（CE16808）最多可以接入288台Leaf交换机（CE9860），288台Leaf交换机下行组多可以提供288*32=9216个200G端口，即9216张昇腾910B卡（1152台昇腾910B服务器），四舍五入，勉强称为“万卡集群”。
如果将Spine交换机从CE16808换成16块业务板的CE16816，则16台Spine交换机最多可以接入576台Leaf交换机（CE9860），可以接入的昇腾910B卡也翻倍到18432张（2304台昇腾910B服务器），名副其实的“万卡集群”。
再进一步，如果Leaf交换机采用CE16808，最多可以提供288个400G端口，其中128个400G上行端口，128个下行400G端口（一分二变为256个下行200G端口）。与之对应，128台Spine交换机（CE16816），每台CE16816可以提供576个400G端口。如下图所示：
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-06-14
挑战 Transformer 架构的谷歌最新扩散模型 Gemini Diffusion 系统提示词
2025-06-14
“AI原生”时代：企业数智化转型的分水岭
2025-06-14
多模态RAG的三类图文问答实现方式，你知道多少种？
2025-06-14
新一代文本表征Qwen3-Embedding与排序模型Qwen3-Reranker 部署和替换
2025-06-14
“华强北”围攻AI耳机，未来智能如何突围？
2025-06-14
AI时代如何为企业和个人赋能
2025-06-14
没吃透 Function Calling？难怪你不理解 AI Agent 为何非来不可！
2025-06-14
浅尝一下微软的AutoGen框架
2025-05-29
2025-03-20
2025-03-21
2025-04-11
2025-03-20
2025-03-19
2025-03-20
2025-03-19
2025-03-19
2025-03-19
2025-06-14
2025-06-14
2025-06-14
2025-06-14
2025-06-13
2025-06-13
2025-06-13
2025-06-13
回到顶部
粤ICP备17114055号