AMD Instinct MI300X GPU-Server
Garantie
Sie können jeden Server oder Storage nach Ihren Wünschen in unserem Konfigurator oder in Absprache mit einem Experten konfigurieren. Unsere Expertise hilft uns, neue Qualitätsstandards zu setzen.
Server mit AMD Instinct MI300X für KI-Training und Inferenz
Die AMD Instinct MI300X bietet 192 GB HBM3 pro GPU. AMD nennt bis zu 5,3 TB/s Speicherbandbreite. Ein Server mit MI300X kommt für Modelle infrage, deren Gewichte und Laufzeitdaten viel Speicher benötigen. Für den Kauf sollten Sie außerdem wissen, welche Teile Ihres Softwarestacks unter ROCm unterstützt werden.
GPU-Speicher und Aufteilung des Modells planen
Ein Knoten mit acht MI300X bietet insgesamt 1.536 GB physischen GPU-Speicher. Wenn ein Modell über mehrere GPUs verteilt wird, nutzt die Anwendung die von der Plattform bereitgestellten Verbindungen. Für mehrere unabhängige Instanzen zählt dagegen, wie viel Speicher jeder Prozess auf einer einzelnen GPU belegt. Planen Sie neben den Gewichten auch Kontext, Batch und Arbeitsspeicher der Laufzeit ein.
ROCm, Bibliotheken und Netzwerk gemeinsam validieren
Für einen Wechsel von CUDA ist ein Test mit Ihrer Anwendung sinnvoll. Prüfen Sie neben Framework und ROCm-Version auch benutzerdefinierte GPU-Operatoren, quantisierte Modellformate und den eingesetzten Inferenzserver. Bei mehreren Knoten gehört ein Test der Kommunikationsbibliothek und der Netzwerkkarten dazu.
Wenn 192 GB pro GPU die Zielkonfiguration begrenzen, vergleichen Sie Server mit AMD Instinct MI325X mit 256 GB je GPU. Für wissenschaftliche Anwendungen mit eng gekoppelten CPU- und GPU-Phasen bietet die AMD Instinct MI300A eine andere Architektur.
Fragen Sie einen Berater
Acht GPUs mit je 192 GB ergeben 1.536 GB physischen HBM-Speicher. Die Anwendung muss Modell und Daten so aufteilen, dass der Bedarf auf jede einzelne GPU passt.
Die Portierung hängt von Framework, GPU-Operatoren und Erweiterungen ab. Validieren Sie die ROCm-Version, Container und verwendeten Bibliotheken mit einem repräsentativen Testlauf.
Erfassen Sie den Bedarf für Gewichte, Laufzeit und Kontext unter realer Last. Wenn das Modell verteilt läuft, messen Sie die Spitzenbelegung pro GPU und den Aufwand für den Datenaustausch.
Neben der Verbindung im Knoten sind Netzwerkkarten, Switches, Latenz und die unterstützte Kommunikationssoftware relevant. Messen Sie, wie sich die Laufzeit mit der Knotenanzahl ändert.
Lassen Sie GPU-Zahl, Speicher je GPU, Verbindungstopologie und Netzwerkadapter ausweisen. Bei einer Neuinstallation sind zusätzlich Host-CPUs, RAM, Kühlungsvariante und Softwarefreigaben wichtig.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.