NVIDIA H100
Garantie
Sie können jeden Server oder Storage nach Ihren Wünschen in unserem Konfigurator oder in Absprache mit einem Experten konfigurieren. Unsere Expertise hilft uns, neue Qualitätsstandards zu setzen.
NVIDIA H100 für KI-Training, Inferenz und HPC
Die NVIDIA H100 ist ein Hopper-Beschleuniger für rechenintensive KI- und HPC-Anwendungen. Für die Auswahl der einzelnen GPU ist die Ausführung entscheidend. NVIDIA dokumentiert unter anderem H100 SXM mit 80 GB, H100 PCIe mit 80 GB und H100 NVL mit 94 GB je GPU. Bauform, Kühlung und GPU-Verbindungen unterscheiden sich je nach Variante.
SXM, PCIe oder NVL für das vorhandene System wählen
Das SXM-Modul gehört auf ein dafür ausgelegtes Baseboard. Die PCIe-Varianten benötigen einen freigegebenen Slot, passende Stromversorgung und Luftführung. Bei H100 NVL ist außerdem zu klären, ob die Konfiguration eine einzelne Karte oder ein verbundenes Paar umfasst. Zwei NVL-Karten ergeben zusammen 188 GB physischen GPU-Speicher. Die Anwendung muss ihre Daten auf beide GPUs verteilen können.
NVIDIA nennt für H100 SXM eine konfigurierbare TDP von bis zu 700 W und für H100 NVL 350 bis 400 W je GPU. Bei einer Ersatzbeschaffung sind daher die genaue Ausführung und das Leistungsprofil wichtiger als der gemeinsame Modellname.
Speicherbedarf und Laufzeit mit der eigenen Anwendung messen
Wählen Sie die H100 anhand von Präzision, Speicherbedarf pro Job und der vorgesehenen Parallelisierung. Bei mehreren unabhängigen Aufgaben kann Multi-Instance GPU (MIG) helfen, wenn Ihre Software und die gewünschte Instanzgröße unterstützt werden. Benötigt ein Modell mehr Speicher pro GPU, bietet die NVIDIA H200 mit 141 GB einen konkreten Vergleich. Für einen neuen Knoten sind H100 GPU-Server nach Bestückung, GPU-Topologie und Host-Netzwerk zu bewerten.
Fragen Sie einen Berater
Das hängt von der Ausführung ab. H100 SXM und die reguläre H100 PCIe haben 80 GB. H100 NVL hat 94 GB pro GPU. Lassen Sie die genaue Teilenummer im Angebot angeben.
SXM benötigt ein passendes Baseboard und die dafür vorgesehene Kühlung. Wenn Ihr System PCIe-Karten aufnimmt, wählen Sie eine ausdrücklich freigegebene PCIe-Ausführung der H100.
Das ist die Summe von zwei H100-NVL-GPUs mit je 94 GB. Modell und Laufzeit müssen die Verteilung über beide GPUs unterstützen. Berücksichtigen Sie auch Laufzeitpuffer und die Verbindung zwischen den Karten.
MIG unterteilt eine unterstützte GPU in isolierte Instanzen mit definierten Ressourcen. Prüfen Sie, ob das benötigte Profil genug Speicher bietet und von der Treiber- und Virtualisierungsumgebung unterstützt wird.
Wenn 80 oder 94 GB pro H100 die gewünschte Modellgröße, Kontextlänge oder Batch-Größe begrenzen. Die H200 bietet mehr Speicher pro GPU. Vergleichen Sie zusätzlich Plattformfreigabe, Leistungsbudget und Messwerte Ihrer Anwendung.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.