NVIDIA H200
Garantie
Sie können jeden Server oder Storage nach Ihren Wünschen in unserem Konfigurator oder in Absprache mit einem Experten konfigurieren. Unsere Expertise hilft uns, neue Qualitätsstandards zu setzen.
NVIDIA H200 mit 141 GB HBM3e für speicherintensive GPU-Aufgaben
Die NVIDIA H200 gehört zur Hopper-Generation. NVIDIA spezifiziert 141 GB HBM3e und 4,8 TB/s Speicherbandbreite pro GPU. Das ist bei Modellen mit großem Speicherbedarf und bei speicherbandbreitenabhängigen HPC-Anwendungen relevant. Für den Kauf einer einzelnen GPU muss zuerst die Plattform zur Ausführung passen.
H200 SXM und H200 NVL an der Bauform unterscheiden
H200 SXM setzt eine passende SXM-Plattform voraus. H200 NVL ist eine PCIe-Ausführung, für die NVIDIA Zwei- oder Vier-Wege-NVLink-Brücken dokumentiert. Beide Varianten haben 141 GB pro GPU, unterscheiden sich aber bei Einbau, Strom und GPU-Topologie. NVIDIA nennt bis zu 700 W für SXM und bis zu 600 W für NVL, jeweils konfigurierbar. Die für Ihren Server zulässige Bestückung ergibt sich aus dessen Herstellerfreigabe.
Wann mehr HBM-Speicher praktisch hilft
Bei einem Sprachmodell wächst der Speicherbedarf mit Gewichten, Kontext und gleichzeitigen Anfragen. Die 141 GB können es ermöglichen, mehr Modellteile auf einer GPU zu halten oder einen größeren Batch zu testen. Bei einer Anwendung, die schon gut in eine NVIDIA H100 passt, sollten Sie anhand der tatsächlichen Laufzeit und Auslastung entscheiden. Vergleichen Sie bei einer Neubeschaffung auch vollständige Server mit H200, insbesondere wenn mehrere GPUs zusammenarbeiten sollen.
Fragen Sie einen Berater
NVIDIA gibt 141 GB HBM3e und 4,8 TB/s Speicherbandbreite an. Bei mehreren GPUs handelt es sich um getrennte Speicher pro Beschleuniger. Die Software bestimmt, wie ein Modell darauf verteilt wird.
H200 NVL ist die PCIe-Ausführung. Maßgeblich sind die Freigabe des Chassis, die verfügbare Slotbreite, Stromversorgung und Kühlausführung. SXM erfordert ein eigenes Baseboard.
Ein Tausch ist nur bei ausdrücklicher Herstellerfreigabe sinnvoll. Prüfen Sie die konkrete Plattform, Firmware, Stromversorgung und Kühlung. Die gemeinsame Hopper-Generation allein bestimmt die Austauschbarkeit nicht.
Das Chassis muss die gewünschte Anzahl und Anordnung der Karten und die passende Brücke unterstützen. Legen Sie fest, welche GPUs verbunden werden sollen und wie das Framework die Verbindung nutzt.
Messen Sie Speicherbelegung, Durchsatz und Antwortzeit mit derselben Modellversion, Präzision und Last. Wenn die Anwendung bereits an CPU, Netzwerk oder Datenbereitstellung hängt, sollten diese Faktoren in den Vergleich einfließen.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.