- NVIDIA A100：基于Ampere架構(gòu)，擁有6912個CUDA核心，配備40GB或80GB的HBM2E高帶寬存儲器。其浮點計算能力達到19.5TFLOPS（FP32）和156TFLOPS（TensorFloat - 32），在BERT模型的訓(xùn)練上性能相比V100提升6倍，推斷時性能提升7倍。適用于大規(guī)模的人工智能訓(xùn)練和推理、科學(xué)計算、數(shù)據(jù)分析等任務(wù)。
- NVIDIA H100：采用Hopper架構(gòu)，擁有18432個CUDA核心，配備高速的HBM3顯存，80GB內(nèi)存，內(nèi)存帶寬為3.35TB/s?？蓪⒋笮驼Z言模型的速度提高30倍，配備第四代Tensor Core和Transformer Engine，在大規(guī)模Transformer模型訓(xùn)練效率上比Ampere架構(gòu)提升顯著。專為大規(guī)模AI和高性能計算（HPC）設(shè)計，適用于大規(guī)模AI訓(xùn)練和推理、科學(xué)計算和模擬、數(shù)據(jù)中心和云計算等領(lǐng)域。
- NVIDIA H200：基于NVIDIA Hopper架構(gòu)，是H100的升級產(chǎn)品，擁有141GB HBM3e內(nèi)存和4.8TB/秒的帶寬。在大模型Llama 2、GPT - 3.5的輸出速度上分別是H100的1.9倍和1.6倍，在高性能計算HPC方面的速度達到了雙核x86 CPU的110倍。針對于超大規(guī)模的大模型訓(xùn)練和推理，可增強生成式AI和高性能計算（HPC）工作負載。
- NVIDIA A800：性能稍低于A100。擁有10752個CUDA核心，內(nèi)存帶寬是1935GB/s。最大功耗300瓦，加速各種工作負載，例如人工智能培訓(xùn)、人工智能推理、高性能計算等。
 
此外，NVIDIA L40S在AI訓(xùn)練方面也有出色表現(xiàn)，搭載4片L40S的系統(tǒng)性能是搭載8片A100系統(tǒng)的1.7倍。