我要投稿

端侧大模型推理在NPU和CPU的对比

发布日期：2024-08-03 22:44:53 浏览次数： 4137

作者：汽车AI助手

微信搜一搜，关注“汽车AI助手”

一、CPU和NPU推理涉及到的关键知识

这部分是属于基础知识，如果了解可以直接跳过到第二部分。

计算能力

•FLOPS (Floating Point Operations Per Second)：测量计算设备每秒执行浮点运算的能力。例如，60 GFLOPS 表示每秒可以执行60 × 10^9次浮点运算。

•TOPs (Tera Operations Per Second)：测量计算设备每秒执行操作的能力，通常用于NPU和其他加速器。例如，16 TOPs 表示每秒可以执行16 × 10^12次操作。

•DMIPS (Dhrystone MIPS)：测量CPU整数运算性能的指标，主要用于反映CPU在执行Dhrystone基准测试中的性能。

DMIPS与FLOPS之间没有直接的转换关系，因为它们测量的是不同类型的运算性能。通常，假设1 DMIPS ≈ 1 FLOPS 或1 DMIPS ≈ 0.5 FLOPS是简化计算的常见方法，但实际情况依赖于具体CPU架构。

性能相关

•内存带宽：决定了数据在内存和处理单元之间传输的速度。例如，LPDDR5, 64-bit @ 6400 MT/s ≈ 51.2 GB/s 表示每秒可以传输51.2 GB的数据。

•数据传输时间：数据传输时间 = 数据量 / 内存带宽。例如，传输1.4 GB数据需要的时间 = 1.4 GB / 51.2 GB/s ≈ 0.027秒。

•并行处理：CPU和NPU通常具有并行处理能力，可以同时处理多个任务。例如，4核CPU可以并行处理4个任务。

•缓存：现代CPU和NPU通常有缓存用于存储频繁访问的数据，以减少内存访问延迟。

•模型架构：不同的模型架构（如Transformer、RNN等）对计算量和内存访问模式有不同的要求。例如，Transformer模型通常需要大量的矩阵乘法操作。

二、CPU和NPU推理性能

接下来我们通过数学计算的方式来推演端侧大模型分别在CPU和NPU的推理性能，为了方便计算，我们做基于以下背景进行验证：

1.模型参数: 2.8B（2.8 × 10^9）参数

2.输入长度: 250 tokens

3.模型架构: Llama

4. NPU性能: 16 TOPs（16 × 10^12 操作/秒）

5. CPU性能: 4核，每核15K DMIPS

6. 内存带宽: LPDDR5 64-bit @ 6400 MT/s ≈ 51.2 GB/s

7.每个参数4 bit

8.运算形式主要是矩阵运算

1. CPU性能计算

步骤1: 计算每个token的处理总运算量

•模型参数量：2.8B（2.8 × 10^9）个参数

•每个参数的运算量：假设每个参数需要2次基本操作（1次乘法和1次加法）

公式
总运算量= 2.8*10^9（参数）* 2 （操作/参数） = 5.6* 10^9 （操作）

•输入长度：250 tokens

公式
总计算量 = 5.6* 10^9 （操作）* 250 （tokens） = 1.4* 10^{12）（操作）

步骤2: 计算CPU的推理时间

•CPU性能：每核15K DMIPS，4核，总计60K DMIPS

•假设1 DMIPS ≈ 1 FLOPS（为了简化计算）

公式
每秒计算能力= 60K* 10^6 （FLOPS） = 60* 10^9 （FLOPS）

计算时间:

公式
计算时间 =总计算量/每秒计算能力= （1.4* 10^12） / （60* 10^9） = 23.33 （秒）

2. 内存带宽对CPU的影响

•内存带宽：LPDDR5, 64-bit @ 6400 MT/s ≈ 51.2 GB/s

•总数据传输量：

公式
总数据传输量 = 1.4 GB（模型存储需求） + 8 KB（输入数据存储需求） ≈ 1.4 （GB）

数据传输时间:

Plain Text
数据传输时间 = 1.4 （GB）/51.2 （GB/s） ≈ 0.027 （秒）

综合计算时间和内存带宽影响：

公式
总推理时间 ≈ 23.33 （秒） + 0.027 （秒） ≈ 23.357 （秒）

3. NPU性能计算

•NPU性能：16 TOPs = 16 × 10^12 操作/秒

•总运算量：1.4 × 10^12 运算

计算时间:

公式
计算时间 = 总计算量/每秒计算能力= 1.4* 10^12/16* 10^12（秒） = 0.0875 （秒）

4.结果总结

•CPU的推理时间: 约23.357秒（综合计算时间和内存带宽影响）

•NPU的推理时间: 约0.0875秒（内存带宽影响较小）

从这个结果来看，涉及大量计算的场景，NPU 的性能和成本明显优于 CPU。

三、可能的错误

上面的计算过程做了较多的计算模型简化，从计算严谨性的角度，这里把影响结果的前提假设梳理出来供大家参考。

1.DMIPS与FLOPS的转换假设:

￮DMIPS（Dhrystone MIPS）是测量整数运算性能的指标，通常不能直接转换为FLOPS（浮点运算性能）。

￮我们假设1 DMIPS ≈ 1 FLOPS 或1 DMIPS ≈ 0.5 FLOPS，这可能导致误差。实际情况依赖于具体CPU架构。

2.每个参数的运算量假设:

￮假设每个参数需要2次基本操作（1次乘法和1次加法），这可能低估了实际运算量。实际的深度学习计算涉及更多复杂操作。

3.忽略了缓存和其他硬件优化:

￮现代CPU和NPU通常有缓存、流水线等硬件优化，可能显著影响实际推理时间。

4.内存带宽与计算时间的独立性假设:

￮内存带宽影响数据传输速度，假设数据传输和计算是独立的，实际中两者可能同时进行。

5.忽略了模型架构的复杂性:

￮实际模型架构（如Transformer、RNN等）会影响计算量和内存访问模式。

四、 One More Thing

从结果可以看到，对于计算量要求高的推理场景，NPU 更适合于 CPU。但在实际工程化过程中，并不会完全放弃 CPU 而只用 NPU。行业内更多的是将 NPU 集成到 SoC 上，让 NPU、CPU、GPU 共同完成复杂任务。在实际工程化过程中，甚至会选择将一部分推理任务放在 CPU 上进行。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-31

英特尔AI PC专区：专治本地模型跑不动、智能体做不出、新模型不会用

2026-05-18

Android 迎来 Gemini-Intelligence，手机要开始替你干活了

2026-05-18

OpenAI秘密矩阵曝光！你的所有设备，被Codex连成一台超级电脑

2026-05-15

苹果不卷AI了：iOS 27要让第三方模型"竞标"进系统

2026-05-13

安卓彻底变了！Gemini接管所有屏幕，苹果连影子都没追上

2026-05-09

探索树莓派和本地 AI 智能体、机器人技术与 2026 年自动化未来！

2026-05-07

龙虾退烧后，荣耀给它造了一个宇宙

2026-04-27

刚刚，OpenAI 手机曝光！2028 年量产

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

扣子2.5，开启全新 Agent World！

2026-04-07

给 OpenClaw 做硬件没前途，但给上下文系统做，是值得的

2026-04-02

叫板OpenClaw，一款主动找活干的agent原生硬件即将发售

2026-03-25

Claude坐到你的电脑前，然后它开始自己动手了

2026-03-24

刚刚，OpenAI 手机曝光！2028 年量产

2026-04-27

把大模型装进手机后，这6件事可以离线完成

2026-04-11

乐鑫龙虾 ESP-Claw 来了！聊天就能开发智能设备

2026-04-21

CardputerZero：可以装在口袋里的树莓派 Linux 电脑！

2026-04-20

我把树莓派5变成了AI程序员，它写的代码比我还强？

2026-04-12

探索树莓派和本地 AI 智能体、机器人技术与 2026 年自动化未来！

2026-05-09

大家都在问

我把树莓派5变成了AI程序员，它写的代码比我还强？

2026-04-12

All in AI后，手机正在被“反噬”？

2026-03-19

2个小时的英伟达 GTC 都在这了，但我好像再也兴奋不起来了？

2026-03-17

笔与屏：AI硬件为何分化出两条路？

2026-02-17

在树莓派CM0上部署 Clawdbot 真的有那么神奇吗？

2026-01-29

英伟达让机器人闪念决策：Fast-ThinkAct如何让AI思考速度快9倍还更聪明？

2026-01-22

豆包手机之后，AI 手机还需要什么？

2026-01-06

怎么都在做“智慧笔”？

2026-01-04

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw