我要投稿

H100/A100/4090/A10 实测性能（算力篇）

发布日期：2024-08-28 08:15:19 浏览次数： 7918

作者：大模型生态圈

微信搜一搜，关注“大模型生态圈”

由于众所周知的原因，某些GPU在某些地区销售是没有合法渠道&售后保障的，从奇怪的渠道购买GPU有概率买到翻新货、假货。对于计算用途的GPU，我们通常会关心峰值算力、显存带宽、通信带宽三个指标，如果拿到的货这三个指标实测值和理论值相符咱就基本能安全下车了。这里将分三篇分别说明每个指标怎么测，本文是第一篇：算力篇。

想要简单快速又比较准的的测出实际峰值算力，可以使用CUTLASS profiler提供的GEMM算子进行测试。通常认为GEMM是计算受限的算子，且当下大热的Transformer模型，负载基本上都是GEMM，故GEMM测得的最优性能可以被当作GPU的实际峰值算力。从github上的CUTLASS仓库（https://github.com/NVIDIA/cutlass ）克隆源码并且按照文档里的方法编译cutlass_profiler程序。使用方法见cutlass_profiler --help。

这里附上我测的结果。（GEMM极致调优能应该还能再榨出一丁点性能，但是我们这里的方法主要讲究一个方便快捷，你甚至可以在提货时当场就能花个10分钟测一把验验货。且由下面的数据看，CUTLASS profiler内置的GEMM算子已经将运算单元的理论峰值性能榨到8、90%，完全够用）

实验结果

注：以下表中的“利用率”不是 nvidia-smi里看到的GPU-Util（GPU-Util这个数值除了能让你知道GPU在跑以外，什么用都没有），下表中的“利用率”是指某种精度的GEMM算子运算过程中对GPU对应精度的运算单元硬件的利用效率。

H100 PCIe vs. A100 PCIe （CUTLASS 3.5.1 GEMM算子）

注：单位均为TFLOPS（浮点）或 TOPS（整型），数值均为实际性能，而非稀疏等价性能。后缀为T的行表示使用Tensor Core。

可以看出CUTLASS目前对A100的优化比对H100 PCIe的优化好。H100 PCIe有着2倍于A100 PCIe的价格，1.4倍于A100的功耗，差不多得到了2倍的算力（以及稍微强些的内存、通信带宽），INT4性能被阉割，但增加了FP8支持。

个人认为，H100 PCIe版的能耗、性价比都有点鸡肋，与其买一两块H100 PCIe版尝尝鲜，不如花多点钱买8卡/4卡的H100 SXM整机一步到位，正所谓“买的越多，省的越多”。

4090 vs. A10（CUTLASS 3.5.1 GEMM算子）

可以看CUTLASS对4090各种精度的优化都挺好，对A10的FP32、FP64的优化有点烂。作为常用的大模型推理卡，A10和4090在显存和通信的规格上相似，价格也差不多，A10计算性能却只有4090的1/3，唯一优势就是A10功耗是4090的1/3，少交点电费。

实验设置

矩阵形状：M=N=K=8192
测试使用的CUTLASS源码（https://github.com/NVIDIA/cutlass） git commit hash：

19b4c5e065e7e5bbc8082dfc7dbd792bdac850fc

4090测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="89"

A10测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="86"

A100测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="80"

H100测试时的CUTLASS编译选项

-DCUTLASS_NVCC_ARCHS="90a"

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-22

OpenAI不会干黄了吧？

2026-03-22

Claude Code 的 Channels 的一些尝试

2026-03-22

Google Gemini深度集成Workspace体验

2026-03-22

专访OpenAI首席科学家：我们离“AI自己做研究”有多远？

2026-03-21

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

AI Coding前端实践后的复盘总结

2026-03-21

OpenAI 首席科学家：Codex 只是雏形，我们要造的是「全自动 AI 研究员」

2026-03-21

谷歌Stitch「氛围设计」干崩Figma 8.8%股价：十年经验，败给巨头一次更新（附实测）

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

Claude Code Skills 国内实践全指南：从安装部署到高阶开发

2026-01-09

深度解析——为什么Claude code CEO Dario 如此反中？

2026-01-23

谷歌没想到：Antigravity 竟成了 Claude Code 的“免费充电宝”？

2025-12-30

不会封号的Claude Code使用方法！已稳定测试一个月，还能共享给团队。

2026-01-14

我装了 9 个 Skill，终于看懂了 Google Antigravity 的野心

2026-01-21

大家都在问

OpenAI不会干黄了吧？

2026-03-22

专访OpenAI首席科学家：我们离“AI自己做研究”有多远？

2026-03-22

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

真实测评MiniMax M2.7，不吹不夸，它到底什么水平？

2026-03-20

深度分析：Agent Harness/框架到底有没有竞争壁垒？

2026-03-19

咨询 | OpenAI、Anthropic纷纷和咨询公司合作的背后，折射除了行业落地AI什么样的趋势？

2026-03-19

大伙都在养虾，MiniMax 带着新模型来偷偷上分了？

2026-03-19

Harness Engineering 为什么是 Agent 时代的“控制论”？

2026-03-18

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw