配备94GBHBM3显存的NVIDIAH100NVLGPU专为ChatGPT设计

  • 发布时间:2023-03-22 11:05:19 来源:
标签:
导读 NVIDIA刚刚推出了其全新的HopperH100NVLGPU,配备94GBHBM3内存,专为ChatGPT设计。NVIDIA宣布推出首款官方ChatGPTGPU,即配备94GBHBM3内存

NVIDIA刚刚推出了其全新的HopperH100NVLGPU,配备94GBHBM3内存,专为ChatGPT设计。

NVIDIA宣布推出首款官方ChatGPTGPU,即配备94GBHBM3内存的HopperH100NVL

NVIDIAHopperGPU驱动的H100NVLPCIe显卡据说具有双GPUNVLINK互连,每个芯片具有94GB的HBM3e内存。GPU能够随时随地处理多达1750亿个ChatGPT参数。与配备多达8个GPU的传统DGXA100服务器相比,单个服务器中的四个GPU可以提供高达10倍的速度。

NVIDIAH100NVLGPU配备94GBHBM3显存专为ChatGPT2设计

与H100SXM5配置不同,H100PCIe提供精简规格,在GH100GPU的全部144个SM和H100SXM上的132个SM中启用了114个SM。该芯片本身提供3200FP8、1600TF16和48TFLOPs的FP64计算能力。它还具有456个张量和纹理单元。

由于其较低的峰值计算能力,H100PCIe应该以较低的时钟运行,因此,TDP为350W,而SXM5变体的TDP为双倍的700W。但是PCIe卡将保留其80GB内存,通过5120位总线接口,但采用HBM2e变体(>2TB/s带宽)。

H100的非张量FP32TFLOP额定值为48TFLOP,而MI210的峰值额定FP32计算能力为45.3TFLOP。通过稀疏和张量运算,H100可以输出高达800TFLOPs的FP32马力。与MI210的64GB相比,H100还拥有更高的80GB内存容量。从表面上看,NVIDIA正在为其更高的AI/ML功能收取溢价。

  • 免责声明:本文由用户上传,如有侵权请联系删除!