NVIDIA H200 GPU-Server
Garantie
Sie können jeden Server oder Storage nach Ihren Wünschen in unserem Konfigurator oder in Absprache mit einem Experten konfigurieren. Unsere Expertise hilft uns, neue Qualitätsstandards zu setzen.
Server mit NVIDIA H200 für Modelle mit hohem Speicherbedarf
Bei einem H200-Server stehen je GPU 141 GB HBM3e und laut NVIDIA 4,8 TB/s Speicherbandbreite zur Verfügung. Das ist vor allem dann interessant, wenn Gewichte, lange Kontexte oder große Batches die Ausführung auf einer kleineren GPU begrenzen. Die passende Servergröße ergibt sich daraus, wie viele GPUs eine Aufgabe benötigt und wie viele Aufgaben parallel laufen.
141 GB pro GPU in der Systemplanung richtig ansetzen
Ein HGX-H200-Knoten mit acht GPUs hat insgesamt 1.128 GB physischen GPU-Speicher. Die Anwendung verteilt ihre Daten auf einzelne GPUs. Bei einem Modell mit 70 Milliarden Parametern liegen schon die 16-Bit-Gewichte rechnerisch bei rund 140 GB. Kontext und Laufzeitpuffer benötigen zusätzlich Platz. Klären Sie daher vor der Bestellung, ob Sie quantisieren, das Modell verteilen oder mehr Speicher pro GPU benötigen.
H200 NVL und HGX H200 als unterschiedliche Aufbauten vergleichen
Bei H200 NVL sind PCIe-Plätze und die unterstützte Anordnung der NVLink-Brücken wichtig. Bei einem HGX-basierten Server mit H200 SXM gehören Baseboard, GPU-Verbund und Kühlung zum Systemdesign. Details zu den Varianten finden Sie unter NVIDIA H200. Für den Standort zählen bei beiden Aufbauten Netzteile, verfügbare Stromkreise, Rack und Wärmeabfuhr.
Vergleichen Sie mit einem H100-Server, wenn Ihr Modell schon mit 80 oder 94 GB je GPU auskommt. Wenn Sie weiterhin an die Kapazitätsgrenze stoßen, können Sie einen B200-Server anhand des Speichers pro GPU und der dafür benötigten Plattform einordnen.
Fragen Sie einen Berater
Die Zahl ergibt sich aus acht GPUs mit je 141 GB. Das Modell kann diesen Speicher nutzen, wenn seine Software die Daten passend aufteilt. Berücksichtigen Sie dabei Kommunikationsaufwand und den Verbrauch pro GPU.
Wenn Sie PCIe-Karten für den geplanten Aufbau benötigen und die freigegebene NVLink-Brückentopologie zur Anwendung passt. Bestimmen Sie vor dem Kauf, welche Karten miteinander verbunden werden sollen.
Die Gewichte benötigen rechnerisch etwa 140 GB. Für Kontext, Laufzeit und Puffer kommt Speicher hinzu. Planen Sie mit einem Messwert oder nutzen Sie je nach Bedarf Quantisierung oder mehrere GPUs.
Vergleichen Sie bei identischem Modell, Präzision und Kontext den maximal nutzbaren Batch, Tokens pro Sekunde und die Antwortlatenz. Erfassen Sie auch, ob CPU oder Netzwerk die Last begrenzen.
Die Bestückung bestimmt Leistungsaufnahme, Stromanschlüsse und die abzuführende Wärme. Verwenden Sie die Standortdaten des konkreten Servers und planen Sie Redundanz und Wartungszugang ein.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.