NVIDIA H100 NVL 94GB Profi-Grafikkarte

Die NVIDIA H100 NVL 94 GB ist ein Datacenter-GPU-Beschleuniger (Klasse „Hopper“), der für die anspruchsvollsten Workloads entwickelt wurde, insbesondere generative KI / LLM in der Inferenz, HPC und groß angelegte Analysen. Die NVL-Version ist für den Betrieb paarweise von GPUs konzipiert, die über NVLink verbunden sind, um die nutzbare Speicherkapazität und den Inter-GPU-Durchsatz zu erhöhen, während sie gleichzeitig ein PCIe-Format beibehält, das für viele Server geeignet ist.

Hauptmerkmale

• Sehr großer Speicher pro GPU und massive Speicherbandbreite, ideal für große Modelle und latenzarmes Serving.

• NVLink zwischen zwei Karten (NVL): Ermöglicht die Bildung eines Paares mit insgesamt 188 GB HBM3 (94 GB + 94 GB) und einer Hochgeschwindigkeitsverbindung zwischen den GPUs.

• Für den 24/7-Serverbetrieb konzipiert (passive Kühlung je nach Integration) und NVIDIA-Ökosystem für KI/HPC.

Wichtigste technische Details

• Architektur: NVIDIA Hopper (H100)

• Speicher: 94 GB HBM3 pro GPU (oft paarweise 188 GB über NVLink verwendet)

• Speicherbandbreite: bis zu 3,9 TB/s pro GPU

• Schnittstelle: PCIe Gen5 x16

• Verbindung: NVLink (NVL-Paar, Hochgeschwindigkeitsverbindung zwischen zwei H100 NVL)

• TDP (max. Leistung): bis zu 400 W pro GPU (gemäß NVL-Spezifikationen)

• KI-Beschleunigung (Tensor Cores + Transformer Engine): optimiert für die von LLMs verwendeten Formate und Berechnungen (FP8/FP16/BF16/TF32 je nach Modus)

• Dekodierung: Erwähnung von 7× NVDEC (und 7× JPEG) in den H100 NVL-Spezifikationen

Für wen?

• KI / LLM (Inferenz): Serving großer Modelle, großer Kontexte, großer Batches, kontrollierte Latenz.

• HPC / Simulation / Datenanalyse: intensive Berechnungen und speicher- / bandbreitenbegrenzte Workloads.

• Serverinfrastrukturen: dichte Bereitstellungen, bei denen das PCIe-Format und die Produktionseffizienz wichtig sind.