NVIDIA B300 GPU-Server
Garantie
Sie können jeden Server oder Storage nach Ihren Wünschen in unserem Konfigurator oder in Absprache mit einem Experten konfigurieren. Unsere Expertise hilft uns, neue Qualitätsstandards zu setzen.
NVIDIA B300 GPU-Server für speicherintensive KI-Lasten
Ein B300-Server kommt für Modelle und Batches infrage, die viel Speicher pro Beschleuniger benötigen. NVIDIA spezifiziert für die HGX-B300-Plattform 288 GB HBM3e je GPU. Bei acht GPUs ergibt das rund 2,3 TB physischen GPU-Speicher im Knoten. Die tatsächlich nutzbare Verteilung hängt von Modell und Framework ab.
Mehr Speicher pro GPU gegenüber B200 einordnen
Eine B300 bietet 108 GB mehr HBM pro GPU als eine B200 in der dokumentierten HGX-Konfiguration. Das kann es erleichtern, mehr Modellteile auf einer GPU zu halten oder mit längeren Kontexten zu arbeiten. Vergleichen Sie B200-Server und B300-Systeme mit denselben Anfragen, Präzisionsformaten und Antwortzielen. Auch bei mehr Speicher kann ein Inferenzserver durch Datenverkehr, CPU oder Netzwerk begrenzt sein.
Kühlungsvariante und Netzwerkanbindung gemeinsam auswählen
Die Anforderungen richten sich nach dem vollständigen Servermodell. Dell dokumentiert beispielsweise den luftgekühlten XE9780 und die flüssigkeitsgekühlte Variante XE9780L mit B300. Die Beschaffung umfasst daher auch Stromzuführungen, Rack und gegebenenfalls die Bedingungen des Kühlkreislaufs. Für mehrere Knoten brauchen Sie einen Netzwerkplan, der zur geplanten Parallelisierung passt.
Vergleichen Sie ein integriertes NVIDIA DGX-System mit einem HGX-basierten Server anhand des konkreten Lieferumfangs, der Host-NICs und der Anbindung an das Rechenzentrum.
Fragen Sie einen Berater
NVIDIA dokumentiert acht GPUs mit je 288 GB HBM3e, insgesamt rund 2,3 TB. Die Laufzeitsoftware muss Modellteile über die einzelnen Speicher verteilen können.
Wenn die bisherige Kapazität Batch, Kontext oder Modellgröße begrenzt. Messen Sie, wie viel Speicher pro GPU belegt wird und ob weniger Aufteilung oder größere Batches die Zielwerte verbessern.
Die Kühlung hängt vom OEM-System ab. Für die Auswahl zählen die vollständige Modellbezeichnung und die Einbauvorgaben. Prüfen Sie Lüftung beziehungsweise Kühlkreislauf für die angebotene Konfiguration.
Wichtige Faktoren sind Netzwerkbandbreite, Latenz, Kommunikationsbibliothek und die Aufteilung des Modells. Testen Sie die Skalierung mit denselben GPU- und Netzwerkkonfigurationen, die Sie einsetzen wollen.
GPU-Anzahl und Speicher pro GPU, GPU-Topologie, CPU und RAM, Netzwerkadapter sowie Kühlungsvariante und Standortanforderungen. Bei mehreren Knoten gehört die geplante Verkabelung dazu.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.