NVIDIA H100 GPU-Server
Garantie
Sie können jeden Server oder Storage nach Ihren Wünschen in unserem Konfigurator oder in Absprache mit einem Experten konfigurieren. Unsere Expertise hilft uns, neue Qualitätsstandards zu setzen.
Server mit NVIDIA H100 für Training, Inferenz und HPC
Ein H100-Server eignet sich für CUDA-Anwendungen, die Hopper-Tensor-Cores oder die hohe Rechenleistung für wissenschaftliche Aufgaben nutzen. Bei der Auswahl des Systems sind GPU-Anzahl und Formfaktor der Ausgangspunkt. Danach entscheiden GPU-Topologie, Netzwerkanbindung und Software, wie gut die Anwendung die Karten gemeinsam auslasten kann.
Einzelne PCIe-Karten oder ein SXM-GPU-Verbund
Ein HGX-H100-Aufbau mit acht SXM-GPUs à 80 GB hat rechnerisch 640 GB GPU-Speicher über den Knoten verteilt. NVLink und NVSwitch verbinden die GPUs innerhalb dieser Plattform. Für parallel laufende Jobs können PCIe-Ausführungen oder H100 NVL mit anderer Verbindungstopologie sinnvoll sein. Lassen Sie sich im Angebot die Ausführung und den Verbindungsplan nennen. Die Eigenschaften der Varianten finden Sie unter NVIDIA H100.
CPU, Checkpoints und Knotenverbindung einplanen
Bei mehreren gleichzeitig aktiven GPUs muss die CPU die Eingabedaten schnell genug vorbereiten. Planen Sie RAM und lokalen Speicher für Datensätze, Checkpoints und Wiederanlauf. Wenn der Job über mehr als einen Server läuft, stimmen Sie Netzwerkkarten, Switches und die Kommunikationsbibliothek auf das Verfahren ab.
Wenn der Speicher pro GPU die Modellgröße oder den Batch begrenzt, ist ein H200-Server mit 141 GB je GPU ein konkreter Vergleich. Für ein vorintegriertes System mit dokumentierter Gesamtarchitektur können Sie auch NVIDIA DGX einbeziehen.
Fragen Sie einen Berater
Lassen Sie SXM, PCIe oder NVL, Speicher pro GPU und die Zahl der Karten ausweisen. Bei einem Mehr-GPU-Knoten benötigen Sie zusätzlich die Beschreibung der Verbindungen zwischen den GPUs.
Wenn ein Job mehrere GPUs auslastet und regelmäßig Daten zwischen ihnen austauscht, kann der verbundene HGX-Aufbau sinnvoll sein. Testen Sie die Skalierung mit dem tatsächlichen Modell und Batch.
Das ist mit getrennten GPUs oder je nach Stack mit MIG möglich. Planen Sie pro Job Speicher, Rechenressourcen und Isolation. Für MIG müssen Profil und Software unterstützt werden.
Erfassen Sie Größe, Schreibhäufigkeit und Aufbewahrung der Checkpoints. Messen Sie, wie lange ein Sicherungsschritt das Training unterbricht und wie schnell der Knoten einen Lauf wieder aufnehmen kann.
Wenn die verfügbare HBM-Kapazität oder Speicherbandbreite den Job begrenzt. Vergleichen Sie die konkrete H100-Ausführung mit H200 bei gleicher Modellversion, Präzision und Parallelisierung.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.