GPU/NPU/TPU区别到底在哪里

graphics processing unit（图形处理单元）通常被称为"显卡"，目前主要分为两大类：一类是专门用于图形和图像处理的传统显卡；另一类是为人工智能计算提供加速的专用加速卡。随着大模型和AIGC浪潮的星兴起，GPU已经成为了新时代的IT基础设施，英伟达也借着GPU风靡全球的东风，登上了美股第一的宝座。

neural processing unit（神经处理单元）是专为机器学习领域中神经网络的计算需求而设计的处理器，如卷积、点积和矩阵运算等。由于当前大多数AI技术都基于神经网络，NPU可以视为一种针对AI计算优化的加速卡。

TPU，Tensor Processing Units（张量处理单元）是一种针对人工智能训练中多维数据（张量）处理而设计的处理器。谷歌开发的TPU在概念上与NPU相似，也是一种为AI计算提供加速的专用硬件。

2013年，谷歌内部的图像搜索、谷歌照片、谷歌云视觉API、谷歌翻译等多款产品和服务都需要用到神经网络，为了设计一款能够加速谷歌自身业务的专用芯片，谷歌内部开始了TPU研发，并在2015年6月的I/O大会上推出了自己的第一代TPU。随后在 2017 年又研发了第一款 Cloud TPU。

目前，Google CLoud上主推Cloud TPU v5p和Cloud TPU v5e两款GPU，并在近期上线了了第六代TPU Trillium。相较于上一代的TPU v5e，Trillium TPU的单芯片峰值计算性能实现了4.7倍的显著提升。在内存方面，Trillium TPU的高带宽内存（HBM）容量和带宽均翻了一番，同时芯片间互连（ICI）的带宽也得到了成倍增强。

Trillium TPU搭载了第三代SparseCore，这是一种专为处理大规模嵌入而设计的专用加速器，常见于高级排名和推荐系统中。这使得Trillium TPU能够以更快的速度训练下一代的基础模型，同时以更低的延迟和成本提供服务。Trillium TPU的另一个关键优势是其卓越的能效比，比TPU v5e节能超过67%，在可扩展性方面，Trillium TPU能够支持单个高带宽、低延迟的pod扩展至256个TPU。此外，利用多切片技术和Titanium智能处理单元（IPU），Trillium TPU的扩展能力可以跨越数百个pod，通过每秒多PB级的数据中心网络互连，连接到楼宇规模的超级计算机中，实现数万个芯片的协同工作。

GPU、NPU和TPU只是不用时期不同公司对于AI计算单元不同称谓，比如，昇腾910系列的称呼，有多种说法：一些人称之为NPU，随着GPU定义的扩展，也有人称之为GPU；还有人称其为SoC（片上系统），因为昇腾910不仅包含AI计算模块，还集成了CPU等其他组件。

目前来看，TPU是谷歌自己在玩，NPU基本上推出历史舞台，我查看了国内几大云厂商的官网，除了腾讯云还有个别NPU的机型，其他云厂商基础已经下线，后面将由GPU一统江湖。