Nvidia CUDA Architecture

Posted on Edited on

Fermi Architecture

img image-20211224153019867
  • Host Interface： GPU，CPU，Memory通信的接口
  • Giga Thread Engine：任务管理器，管理所有正在进行的工作
  • Fermi架构拥有16个SM，SM属于硬件实体。每一个SM拥有21个CUDA core，每一个CUDA core拥有一个INT和一个FP计算单元；一个SM有16个LOAD/STORE单元，可以提供16线程同时读取/存储数据的能力；4个SFU单元，SFU：Special Function Unit，特殊函数计算单元，包括sin，cos函数。

Kepler Architecture

Kepler架构将SM重命名为SMX，其中大致结构并未改变，最明显的是增加了CUDA Core的数量。一个SMX中有192个CUDA Core。

img img

Maxwell Architecture

SMM变得更多了，架构变化不大。

img image-20211224161723378

Pascal Architecture

第一个加入Deep Learning相关硬件设置的架构，即：DP Unit。

img

Volta Architecture

第一个以Deep Learning为主的GPU架构。原本的CUDA Core变成FP64，INT，FP32，TENSOR Core。

image-20211224165854516

Turing Architecture

Empere Architecture