AMD Instinct MI350X GPU-Server
Garantie
Sie können jeden Server oder Storage nach Ihren Wünschen in unserem Konfigurator oder in Absprache mit einem Experten konfigurieren. Unsere Expertise hilft uns, neue Qualitätsstandards zu setzen.
Server mit AMD Instinct MI350X für speicherintensive KI im Rack
Die AMD Instinct MI350X gehört zur CDNA-4-Generation. AMD nennt 288 GB HBM3E und bis zu 8 TB/s Speicherbandbreite pro GPU. Die Plattform kommt für KI-Modelle infrage, die viel Speicher pro Beschleuniger benötigen oder von den in der Software unterstützten niedrigeren Rechenpräzisionen profitieren.
Speicher und Präzision anhand eines Tests auswählen
Ein Acht-GPU-Knoten stellt rechnerisch 2.304 GB HBM bereit. Für die Anwendung zählt die Belegung jeder einzelnen GPU. Testen Sie das Modell mit der vorgesehenen Kontextlänge, Batch-Größe und Präzision. Wenn Sie FP8 oder niedrigere Formate einsetzen wollen, muss der eingesetzte Softwarestack diese für Ihr Modell und Ihre Qualitätsanforderungen unterstützen.
Luftführung und Leistungsbudget für den OEM-Server abgleichen
AMD nennt für MI350X 1.000 W Total Board Power pro Beschleuniger. Acht Module ergeben damit rechnerisch 8 kW allein für die GPUs. Für den vollständigen Knoten gelten die elektrischen und thermischen Angaben des Herstellers. Planen Sie Kühlleistung und Stromkreise anhand des konkreten Servers.
Vergleichen Sie einen MI325X-Server, wenn 256 GB pro GPU genügen. Ein MI355X-Server hat ebenfalls 288 GB pro GPU. Dort können sich Leistungsbudget und Kühllösung unterscheiden. Für einen fairen Vergleich verwenden Sie dasselbe Modell und dieselben Antwort- oder Trainingsziele.
Fragen Sie einen Berater
AMD nennt 288 GB HBM3E und bis zu 8 TB/s Speicherbandbreite. Bei mehreren GPUs bleiben die Speicher physisch getrennt. Das Framework entscheidet über die Verteilung der Daten.
AMD gibt 1.000 W Board Power pro GPU an. Rechnen Sie für die Standortplanung mit der dokumentierten Leistungsaufnahme des gesamten Servers einschließlich CPU, Lüftern und Netzteilen.
Das richtet sich nach Modell, Ziel für Genauigkeit und Unterstützung durch die Laufzeitsoftware. Vergleichen Sie die Ausgabequalität und den Durchsatz mit denselben Daten bei mehreren unterstützten Präzisionsformaten.
Beide bieten 288 GB HBM3E pro GPU. Vergleichen Sie freigegebene Leistungsprofile, Kühllösung und Netzwerkanbindung des konkreten Servers sowie die Messwerte für Ihre Anwendung.
Ja, für Speicherbedarf und Leistung innerhalb des Knotens. Für verteiltes Training oder Inferenz sollten Sie anschließend einen Test mit mehreren Knoten und dem vorgesehenen Netzwerk einplanen.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.