La NVIDIA H100 NVL 94 Go est un accélérateur GPU datacenter (classe “Hopper”) conçu pour les charges de travail les plus exigeantes, notamment l’IA générative / LLM en inférence, le HPC et l’analytique à grande échelle. La version NVL est pensée pour fonctionner par paires de GPU reliées par NVLink, afin d’augmenter la capacité mémoire utilisable et le débit inter-GPU, tout en restant sur un format PCIe adapté à de nombreux serveurs.
Points clés
-
Très grande mémoire par GPU et bande passante mémoire massive, idéales pour les modèles volumineux et le serving à faible latence.
-
NVLink entre deux cartes (NVL) : permet de constituer une paire avec 188 Go HBM3 au total (94 Go + 94 Go) et un lien haut débit entre les GPU.
-
Conception orientée serveur 24/7 (refroidissement passif selon intégration) et écosystème NVIDIA pour l’IA/HPC.
Détails techniques principaux
-
Architecture : NVIDIA Hopper (H100)
-
Mémoire : 94 Go HBM3 par GPU (souvent utilisée en paire 188 Go via NVLink)
-
Bande passante mémoire : jusqu’à 3,9 To/s par GPU
-
Interface : PCIe Gen5 x16
-
Interconnexion : NVLink (paire NVL, lien haut débit entre deux H100 NVL)
-
TDP (puissance max) : jusqu’à 400 W par GPU (selon spécifications NVL)
-
Accélération IA (Tensor Cores + Transformer Engine) : optimisée pour les formats et calculs utilisés par les LLM (FP8/FP16/BF16/TF32 selon modes)
-
Décodage : mention de 7× NVDEC (et 7× JPEG) sur les specs H100 NVL
Pour qui ?
-
IA / LLM (inférence) : serving de modèles volumineux, gros contextes, lots importants, latence maîtrisée.
-
HPC / simulation / data analytics : calcul intensif et workloads mémoire-bandwidth bound.
-
Infrastructures serveurs : déploiements denses où le format PCIe et l’efficacité en production comptent.
