我要投稿

H100/A100/4090/A10 实测性能（算力篇）

发布日期：2024-08-28 08:15:19 浏览次数： 8666

作者：大模型生态圈

微信搜一搜，关注“大模型生态圈”

由于众所周知的原因，某些GPU在某些地区销售是没有合法渠道&售后保障的，从奇怪的渠道购买GPU有概率买到翻新货、假货。对于计算用途的GPU，我们通常会关心峰值算力、显存带宽、通信带宽三个指标，如果拿到的货这三个指标实测值和理论值相符咱就基本能安全下车了。这里将分三篇分别说明每个指标怎么测，本文是第一篇：算力篇。

想要简单快速又比较准的的测出实际峰值算力，可以使用CUTLASS profiler提供的GEMM算子进行测试。通常认为GEMM是计算受限的算子，且当下大热的Transformer模型，负载基本上都是GEMM，故GEMM测得的最优性能可以被当作GPU的实际峰值算力。从github上的CUTLASS仓库（https://github.com/NVIDIA/cutlass ）克隆源码并且按照文档里的方法编译cutlass_profiler程序。使用方法见cutlass_profiler --help。

这里附上我测的结果。（GEMM极致调优能应该还能再榨出一丁点性能，但是我们这里的方法主要讲究一个方便快捷，你甚至可以在提货时当场就能花个10分钟测一把验验货。且由下面的数据看，CUTLASS profiler内置的GEMM算子已经将运算单元的理论峰值性能榨到8、90%，完全够用）

实验结果

注：以下表中的“利用率”不是 nvidia-smi里看到的GPU-Util（GPU-Util这个数值除了能让你知道GPU在跑以外，什么用都没有），下表中的“利用率”是指某种精度的GEMM算子运算过程中对GPU对应精度的运算单元硬件的利用效率。

H100 PCIe vs. A100 PCIe （CUTLASS 3.5.1 GEMM算子）

注：单位均为TFLOPS（浮点）或 TOPS（整型），数值均为实际性能，而非稀疏等价性能。后缀为T的行表示使用Tensor Core。

可以看出CUTLASS目前对A100的优化比对H100 PCIe的优化好。H100 PCIe有着2倍于A100 PCIe的价格，1.4倍于A100的功耗，差不多得到了2倍的算力（以及稍微强些的内存、通信带宽），INT4性能被阉割，但增加了FP8支持。

个人认为，H100 PCIe版的能耗、性价比都有点鸡肋，与其买一两块H100 PCIe版尝尝鲜，不如花多点钱买8卡/4卡的H100 SXM整机一步到位，正所谓“买的越多，省的越多”。

4090 vs. A10（CUTLASS 3.5.1 GEMM算子）

可以看CUTLASS对4090各种精度的优化都挺好，对A10的FP32、FP64的优化有点烂。作为常用的大模型推理卡，A10和4090在显存和通信的规格上相似，价格也差不多，A10计算性能却只有4090的1/3，唯一优势就是A10功耗是4090的1/3，少交点电费。

实验设置

矩阵形状：M=N=K=8192
测试使用的CUTLASS源码（https://github.com/NVIDIA/cutlass） git commit hash：

19b4c5e065e7e5bbc8082dfc7dbd792bdac850fc

4090测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="89"

A10测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="86"

A100测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="80"

H100测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="90a"

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-06-22

当 AI 开始承担任务：从工具、产品到组织的 AI-native 方法论

2026-06-21

从提示 Agent 到循环工程

2026-06-21

微信小微，几个要点

2026-06-21

AI 也会做梦？拆解 OpenClaw 独特的梦境记忆系统

2026-06-21

[译] 我所知的全部智能体工程技巧

2026-06-20

13人团队叫板Anthropic：我们造了一个更快更便宜的大模型

2026-06-20

微信左上角长出“两只眼睛”：小微测试版，可能是微信 AI 化最关键的一步

2026-06-20

Agent Skill 管理范式探索：像管理软件包一样管理 Agent 能力

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

OpenAI Codex CLI 完整使用指南

2026-04-07

Claude Code 和 Codex 接入 Figma MCP 保姆级教程

2026-04-07

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

GPT5.5来了，最大特点解析

2026-04-24

Claude Opus 4.7 发布，全网最详细解读

2026-04-17

突发！Claude Code 源码泄露，扒出这些隐藏功能

2026-03-31

GPT-6，曝光了

2026-04-05

GLM-5.1 实测：面向 Agent 长程任务的国内第一模型

2026-04-02

重磅！GPT-6曝光了

2026-04-05

大家都在问

企业智能体的下半场，如何让智能体越用越聪明？

2026-06-18

Agent 记忆，我们全都理解错了？

2026-06-18

如何利用 Harness “一句话交付产品功能”？

2026-06-10

Loop Engineering 循环工程又是什么鬼？

2026-06-10

Agent 工程化五件套：Prompt、Skill、MCP、CLI 到底怎么配合？

2026-06-07

为什么云端 Agent 基建这么难？

2026-06-06

当 AI 开始拥有“自主调度权”：Claude 4.8 这个新功能，到底有多可怕？

2026-06-03

哪些活，该交给Claude Code的 /workflows?

2026-06-02

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw