HPE ProLiant für KI- und GPU-Workloads: DL380a Gen12, DL385 Gen11 und Alternativen

Für die meisten KI-Lösungen in Unternehmen ist der HPE ProLiant DL385 Gen11 ein sinnvoller Ausgangspunkt: Er kombiniert moderne Beschleuniger mit leistungsstarken AMD-EPYC-Prozessoren, hoher Speicherkapazität und einem flexiblen Speichersubsystem. Wählen Sie den HPE ProLiant Compute DL380a Gen12, wenn von Anfang an eine hohe GPU-Dichte erforderlich ist, mehrere Modelle gleichzeitig ausgeführt werden sollen oder zusätzliche Kapazität für Inferenz im großen Maßstab benötigt wird. Für das vollständige Training großer Modelle, bei dem eine schnelle Kommunikation zwischen acht Beschleunigern entscheidend ist, eignet sich eine spezialisierte Plattform wie der HPE ProLiant Compute XD685 besser.

HPE DL380a Gen12 and DL385 Gen11 configurations

Wie sich ein Universalserver von einer spezialisierten GPU-Plattform unterscheidet

Freie PCIe-Steckplätze allein machen einen Server noch nicht zu einer vollwertigen KI-Plattform. In einem Universalserver teilen sich Beschleuniger die internen Ressourcen mit Netzwerkadaptern, Speichercontrollern und NVMe-Laufwerken. Ein solcher Server ist praktisch, wenn auf einem Knoten ein kleines Modell, eine Vektordatenbank, Container, virtuelle Maschinen und Anwendungsdienste betrieben werden, kann für anspruchsvolle KI-Workloads jedoch ungeeignet sein.

Um die Serverauswahl zu vereinfachen, sollte zunächst die benötigte Produktklasse festgelegt werden. HPE-Systeme lassen sich anhand ihrer GPU-Fähigkeiten in drei Hauptkategorien einteilen.

Universalserver mit GPU-Unterstützung

Zu dieser Kategorie gehören der DL380 Gen12, der DL340 Gen12, der DL325 Gen11 und weitere Modelle, bei denen GPUs eine von mehreren möglichen Konfigurationsoptionen darstellen.

Ihre wichtigsten Vorteile sind:

• leichtere Integration in eine vorhandene Rack- und Managementumgebung;
• mehr Platz für Laufwerke und Netzwerkkarten;
• ein bequemer Einstieg mit einer oder zwei GPUs;
• der Server bleibt für Virtualisierung, Datenbanken und herkömmliche Anwendungen geeignet;
• geringere Anforderungen an Stromversorgung und Kühlung als bei den dichtesten KI-Systemen.

Die wichtigste Einschränkung ist die vergleichsweise geringe Anzahl leistungsstarker Double-Wide-Beschleuniger. Die Zahl der verfügbaren GPUs kann außerdem vom Laufwerkskäfig, den Risern, der Netzwerkkonfiguration und den ausgewählten Prozessoren abhängen.

Von Grund auf für Beschleuniger konzipierte Server

Der DL380a Gen12 ist kein gewöhnlicher DL380 mit einem zusätzlichen Kabelsatz. Es handelt sich um eine 4U-Plattform, deren Gehäuse, Luftkanäle, Stromversorgung und Steckplatzanordnung für eine dichte GPU-Bestückung ausgelegt sind.

Die Beschleuniger werden nach festgelegten Schemata installiert und auf zwei Prozessorsockel verteilt. Diese Architektur eignet sich für:

• die Konsolidierung mehrerer KI-Dienste;
• Inferenz im großen Maßstab;
• Feinabstimmung von Modellen;
• die Verarbeitung einer großen Zahl von Videostreams;
• den parallelen Betrieb mehrerer Teams.

Die hohe Dichte geht mit erhöhten Anforderungen an Rack, Stromversorgung und Kühlung einher.

Spezialisierte Systeme für das Training

Plattformen wie der XD685 nutzen acht Beschleuniger als einen gemeinsamen Rechenkomplex. Dabei sind nicht nur die GPUs selbst wichtig, sondern ebenso schnelle Interconnects, spezialisierte Switches, Stromversorgung und Kühlung.

Eine große Zahl separater PCIe-Karten macht einen Server nicht zu einem gleichwertigen HGX-System. Wenn ein Modell fortlaufend Tensoren zwischen Beschleunigern überträgt, kann die Bandbreite des Interconnects die Trainingszeit stärker beeinflussen als die nominelle GPU-Anzahl.

Vergleich von HPE-ProLiant-Plattformen für KI-Workloads

Die genannten Maximalwerte sind nicht in jeder Konfiguration verfügbar. Die genaue Zahl der Beschleuniger hängt vom GPU-Modell, der Leistungsaufnahme, dem Formfaktor, den ausgewählten Risern, dem Kühlsystem und weiteren Erweiterungskarten ab.

HPE ProLiant Compute DL380a Gen12: wenn eine hohe GPU-Dichte erforderlich ist

Bildquelle: Servermall

Der DL380a Gen12 belegt 4U und nutzt zwei Intel-Xeon-6-Prozessoren. Die Plattform unterstützt PCIe 5.0 und ist für Konfigurationen mit 2, 4, 8 oder 10 Double-Wide-Beschleunigern sowie mit 8 oder 16 Single-Wide-Beschleunigern ausgelegt. Die GPUs werden paarweise installiert und gleichmäßig auf die Prozessorsockel verteilt.

Die maximale Bestückung mit zehn Double-Wide-Karten ist nicht allein entscheidend. Sie ermöglicht:

• die Zuordnung einzelner Modelle zu dedizierten Beschleunigern;
• die Erhöhung der Zahl gleichzeitiger LLM-Anfragen;
• das Hosting verschiedener Modellversionen für mehrere Abteilungen;
• die parallele Ausführung von Feinabstimmung und produktiver Inferenz;
• die Trennung von Computer Vision, Spracherkennung und Textgenerierung;
• die Durchführung mehrerer Experimente ohne ständige Neuzuweisung der Hardware.

Für welche Workloads sich der DL380a Gen12 eignet

Die Plattform spielt ihre Stärken besonders dann aus, wenn die GPUs unabhängig voneinander genutzt werden können. Beispielsweise können vier Beschleuniger das primäre Sprachmodell bedienen, zwei Karten einem Embedding-Modell, zwei weitere der Computer Vision und die verbleibenden Karten Tests zugewiesen werden.

Der DL380a eignet sich auch gut für Batch-Inferenz, bei der der Gesamtdurchsatz wichtiger ist als die minimale Latenz einer einzelnen Anfrage. In diesem Modus verarbeitet der Server große Auftragsgruppen gleichzeitig und verteilt sie auf die Beschleuniger.

Ein weiteres Szenario betrifft mehrere Teams oder interne Kunden. Die hohe Dichte ermöglicht es, jeder Gruppe eigene GPUs zuzuweisen, ohne für jedes Projekt einen separaten physischen Server bereitzustellen.

Warum zehn GPUs nicht immer besser sind als acht

Wenn ein großes Modell auf alle Beschleuniger verteilt wird, ist die Kommunikationsgeschwindigkeit zwischen ihnen entscheidend. PCIe verbindet GPUs mit Prozessoren, Arbeitsspeicher und anderen Geräten, bietet jedoch nicht immer dieselbe Bandbreite zwischen den Beschleunigern wie NVLink und NVSwitch in spezialisierten Plattformen.

Die Gesamtleistung wird beeinflusst durch:

• die Position der GPUs relativ zu den Prozessorsockeln;
• die Videospeicherkapazität jeder Karte;
• die Möglichkeit einer direkten Kommunikation zwischen den Beschleunigern;
• die Unterstützung der gewählten Topologie durch die Softwareplattform;
• die Datenübertragungsgeschwindigkeit aus dem Arbeitsspeicher und dem NVMe-Speicher;
• die Netzwerkbandbreite beim Verbinden mehrerer Knoten.

Zehn PCIe-Karten können für mehrere unabhängige Modelle sehr effektiv sein. Für das synchrone Training eines großen Modells ist ein System mit acht Beschleunigern und schnellem Interconnect häufig vorzuziehen.

Einschränkungen einer dichten Konfiguration

Ein Knoten mit hoher Dichte konzentriert Stromverbrauch und Wärme in einem einzigen Gehäuse. Bei der Planung müssen berücksichtigt werden:

• der Gesamtverbrauch von GPUs, CPUs, Arbeitsspeicher und Netzwerkadaptern;
• Anzahl und Typ der PDU-Anschlüsse;
• die Redundanz der Netzteile;
• die zulässige Leistung pro Rack;
• die Temperatur der Zuluft;
• die Verfügbarkeit einer direkten Flüssigkeitskühlung;
• die Kosten eines Ausfalls eines Knotens, auf dem viele Dienste betrieben werden.

Mitunter sind zwei weniger dicht bestückte Server praktischer als ein vollständig ausgebautes System: Sie lassen sich leichter kühlen, warten und redundant auslegen.

HPE ProLiant DL385 Gen11: eine ausgewogene AMD-Plattform

Bildquelle: HPE

Der DL385 Gen11 ist ein 2U-Zweisockelserver auf Basis von AMD-EPYC-9004- und 9005-Prozessoren. Er unterstützt bis zu vier Double-Wide- oder acht Single-Wide-GPUs, PCIe 5.0 und bis zu 6 TB DDR5-Arbeitsspeicher.

Dadurch eignet sich der DL385 nicht nur als GPU-Knoten, sondern auch als Server, auf dem neben dem Modell Retrieval, Datenvorbereitung, Speicher und Anwendungslogik ausgeführt werden.

Die Plattform eignet sich für:

• RAG mit einer lokalen Vektordatenbank;
• Inferenz für ein großes oder mehrere mittelgroße Modelle;
• LoRA- und QLoRA-Feinabstimmung;
• klassisches maschinelles Lernen;
• Bild- und Videostream-Verarbeitung;
• virtuelle Workstations mit GPU-Unterstützung;
• eine Containerumgebung mit gemischten Diensten.

Warum Prozessoren weiterhin wichtig sind

Selbst wenn das primäre Modell auf GPUs läuft, übernehmen die Prozessoren einen erheblichen Teil der Pipeline:

• Bereinigung und Transformation der Eingabedaten;
• Tokenisierung von Text;
• Suche und Filterung von Dokumenten;
• Entpacken von Datensätzen;
• Dekodierung von Bildern, Audio und Video;
• Verarbeitung von Netzwerkverbindungen;
• Ausführung der Vektordatenbank, von Containern und virtuellen Maschinen.

Aus diesem Grund sollten AMD-EPYC-Server nicht ausschließlich anhand der Kernanzahl verglichen werden. Auch Taktfrequenz, Speicherbandbreite, Kanalbestückung, verfügbare PCIe-Lanes und die Verteilung der Geräte auf die Sockel sind wichtig.

Wo die Vorteile der Vielseitigkeit enden

Vier leistungsstarke Double-Wide-GPUs reichen für viele Unternehmensprojekte aus, können jedoch für ein großes Modell zu wenig sein, das sich nicht effizient quantisieren oder partitionieren lässt.

Die Installation von Beschleunigern wirkt sich auch auf die übrigen Komponenten aus:

• einige Erweiterungssteckplätze stehen nicht mehr zur Verfügung;
• die Anzahl der Laufwerke kann vom GPU-Kit abhängen;
• thermische Grenzen verkleinern die Liste zulässiger CPUs und GPUs;
• der Wechsel von zwei auf vier Karten kann andere Riser, Lüfter und Netzteile erfordern.

Wenn bereits in der Planungsphase ein Wachstum auf acht oder zehn leistungsstarke GPUs in einem Knoten absehbar ist, bietet der DL380a einen direkteren Skalierungspfad.

Intel Xeon oder AMD EPYC für einen KI-Server

Die Wahl zwischen Intel und AMD lässt sich nicht von der konkreten Serverplattform trennen. Der DL380a Gen12 basiert auf Intel Xeon 6 und einer hohen Beschleunigerdichte. Der DL385 Gen11 verwendet AMD EPYC und legt den Schwerpunkt auf ein ausgewogenes Verhältnis von CPU, Arbeitsspeicher, GPU und Speicherressourcen.

Welche Parameter zu berücksichtigen sind

Die Kernanzahl ist für die parallele Datenvorbereitung, Virtualisierung und die Bedienung vieler Prozesse wichtig. Bei sequenziellen Phasen, bestimmten Tokenisierungsvorgängen und der Netzwerklogik kann die Single-Core-Leistung wichtiger sein.

In einem KI-System sind außerdem relevant:

• die Speicherbandbreite;
• die Anzahl der bestückten Kanäle;
• die Anzahl der PCIe-Lanes;
• die Topologie der GPU-Anbindung;
• die Leistungsaufnahme der Prozessoren;
• die Kosten von Lizenzen, die pro Kern oder Sockel berechnet werden.

NUMA und Geräteplatzierung

In einem Zweisockelsystem ist jede GPU physisch mit einem bestimmten Prozessor verbunden. Wenn eine Anwendung auf den Speicher des anderen Sockels zugreift oder Daten an ein Gerät auf der gegenüberliegenden Seite sendet, ist ein zusätzlicher Übergang über die Verbindung zwischen den Prozessoren erforderlich.

Die NUMA-Architektur muss berücksichtigt werden bei:

• der Bindung von Prozessen an Prozessorkerne;
• der Zuweisung des Arbeitsspeichers;
• der Zuordnung von GPUs zu Containern;
• der Installation von Netzwerkkarten und NVMe-Laufwerken;
• der Konfiguration virtueller Maschinen mit direkter Geräteweitergabe.

Bei der Auswahl von Intel-Xeon-Servern für KI ist nicht nur das CPU-Modell relevant. Ebenso wichtig ist der Einfluss der Prozessoren auf zulässige GPU-Konfigurationen, die Kühlung und die Gesamtleistung des Systems.

Bei Inferenz, die nahezu vollständig durch die GPU begrenzt wird, sind die Unterschiede zwischen den Beschleunigern und ihrer Topologie in der Regel wichtiger als die Prozessormarke. Bei RAG, Datenvorbereitung und multimodaler Verarbeitung kann die CPU die End-to-End-Latenz des Dienstes deutlich beeinflussen.

Welcher Server für unterschiedliche KI-Workloads erforderlich ist

LLM-Inferenz

Um ein Sprachmodell auszuführen, muss zunächst geprüft werden, ob seine Gewichte im gewählten Format in den Videospeicher passen. Das allein genügt jedoch nicht. Der KV-Cache – Daten, die das Modell für bereits verarbeiteten Kontext speichert – belegt zusätzliches VRAM.

Der Speicherverbrauch steigt mit:

• der Kontextlänge;
• der Anzahl gleichzeitiger Benutzer;
• der Batch-Größe;
• der Anzahl paralleler Sequenzen;
• der Rechengenauigkeit.

Ein Modell kann bei einem Test mit einer einzelnen Anfrage problemlos auf eine GPU passen, unter realer Last jedoch den verfügbaren Speicher ausschöpfen. Der Server sollte daher nach der angestrebten Parallelität und Latenz ausgewählt werden, nicht allein nach der Parameteranzahl.

Der DL385 eignet sich, wenn eine bis vier leistungsstarke Karten ausreichen. Der DL380a ist besser für das Hosting mehrerer Modelle, hohe Parallelität oder die Zuweisung separater GPUs zu unterschiedlichen Diensten geeignet.

RAG

Bei Retrieval-Augmented Generation übernimmt die GPU nur einen Teil der Pipeline. Bevor das Sprachmodell aufgerufen wird, muss das System Dokumente abrufen, die Ergebnisse filtern, den Kontext zusammenstellen und an die Generierungsphase übergeben.

Die Latenz wird beeinflusst durch:

• die Geschwindigkeit der Vektordatenbank;
• die Größe des Index im RAM;
• die CPU-Leistung;
• die NVMe-Leistung;
• das Netzwerk zwischen den Komponenten;
• das Embedding-Modell;
• die Länge des zusammengestellten Kontexts.

Wenn Vektordatenbank und Modell auf demselben Server ausgeführt werden, ist der DL385 dank seiner hohen Speicherkapazität und des leistungsstarken CPU-Subsystems attraktiv. Bedient ein Knoten mehrere generative Modelle und viele Benutzer, kann der dichtere DL380a wirtschaftlicher sein.

LoRA- und QLoRA-Feinabstimmung

Diese Methoden verändern nur einen begrenzten Teil der Parameter und benötigen weniger Speicher als eine vollständige Feinabstimmung. Für viele Unternehmensmodelle genügen eine bis vier GPUs, sodass der DL385 Gen11 die Anforderungen erfüllen kann, ohne auf eine spezialisierte Plattform mit acht Beschleunigern umzusteigen.

Der DL380a ist sinnvoll, wenn:

• mehrere Teams gleichzeitig Modelle trainieren;
• Hyperparameter parallel getestet werden müssen;
• mit steigenden Modellgrößen zu rechnen ist;
• ein Teil der GPUs für die Inferenz verfügbar bleiben muss.

Bei der Speicherbemessung müssen der ursprüngliche Datensatz, vorbereitete Versionen, Checkpoints, Experimentprotokolle und temporäre Dateien berücksichtigt werden.

Vollständiges Training großer Modelle

Beim vollständigen Training werden Gewichte, Gradienten und Optimiererzustände bei jedem Schritt synchronisiert. Werden Daten fortlaufend über eine herkömmliche PCIe-Topologie übertragen, kann jeder zusätzliche Beschleuniger einen zunehmend geringeren Leistungsgewinn bringen.

Für diese Workload-Klasse sind wichtig:

• NVLink oder NVSwitch innerhalb des Knotens;
• ein 200/400-Gbit/s-Netzwerk zwischen den Knoten;
• Remote Direct Memory Access;
• ein paralleles Dateisystem;
• eine stabile Datenpipeline, die Leerlaufzeiten der GPUs verhindert;
• die Kühlung des gesamten Racks.

Eine spezialisierte Plattform wie der XD685 darf nicht lediglich als teurerer DL380a betrachtet werden. Sie gehört zu einer anderen Klasse, ist für acht eng miteinander verbundene Beschleuniger und große Trainings-Workloads ausgelegt und kann deshalb anstelle klassischer Server die optimale Wahl sein.

Computer Vision und multimodale Modelle

Bei der Dimensionierung von Videoanalytik darf nicht nur die Geschwindigkeit des neuronalen Netzes berücksichtigt werden. Vor der Inferenz werden Streams über das Netzwerk empfangen, dekodiert, skaliert und transformiert. Die CPU oder Hardware-Dekodierblöcke können zum Engpass werden, bevor die Rechenkerne der GPU ausgelastet sind.

Multimodale Modelle erfordern außerdem:

• das Laden von Bildern, Audio und Video;
• temporäre Dateispeicherung;
• Formatkonvertierung;
• den Betrieb mehrerer Encoder;
• einen größeren Kontext;
• einen höheren RAM- und VRAM-Verbrauch.

Der DL340 eignet sich für einen kompakten Einsockel-Knoten für Computer Vision. Der DL385 bietet ein ausgewogenes Verhältnis von Verarbeitung und Speicher. Der DL380a ist geeignet, wenn viele Streams, Modelle oder unabhängige Dienste in einem Server konsolidiert werden müssen.

So wählen Sie GPUs aus

Videospeicherkapazität

Maximale Rechenleistung ist wertlos, wenn das Modell nicht in das VRAM passt.

Die erforderliche Kapazität hängt ab von:

• der Anzahl der Parameter;
• dem Format der Gewichte;
• der Kontextlänge;
• der Größe des KV-Caches;
• der Batch-Verarbeitung;
• der Methode der Feinabstimmung;
• der Notwendigkeit, Gradienten und Optimiererzustände zu speichern.

Quantisierung reduziert den Speicherverbrauch, kann jedoch Genauigkeit, Geschwindigkeit einzelner Operationen und Softwareanforderungen beeinflussen. Die Berechnung muss mit dem ausgewählten Modell, der Inferenz-Engine und einem realen Anfrageprofil validiert werden.

Single-Wide- und Double-Wide-Beschleuniger

Single-Wide-Karten ermöglichen die Installation einer größeren Zahl unabhängiger Geräte. Sie eignen sich für mehrere kleine Modelle, Inferenz, VDI und Videostreams.

Double-Wide-GPUs haben in der Regel eine höhere thermische Verlustleistung, mehr Speicherkapazität und höhere Leistung, benötigen jedoch mehr Platz und eine stärkere Kühlung.

Der Vergleich sollte nicht als „16 gegen 10“ formuliert werden, sondern die konkret unterstützten Karten, ihr VRAM, ihre Leistungsaufnahme und die Art der Anbindung berücksichtigen.

PCIe, NVLink und NVSwitch

PCIe verbindet den Beschleuniger mit Prozessor, Arbeitsspeicher, Netzwerk und Speicher. NVLink stellt schnellere Verbindungen zwischen kompatiblen GPUs bereit. NVSwitch verbindet mehrere Beschleuniger über eine spezialisierte Switching-Fabric.

PCIe 5.0 erhöht die Busbandbreite, verwandelt separate Karten jedoch nicht in ein einheitliches HGX-Modul. Für unabhängige Inferenz ist dies möglicherweise unkritisch. Beim Training und bei der Aufteilung eines Modells auf viele GPUs wird der Unterschied deutlich.

Die Kompatibilität hängt von der gesamten Konfiguration ab

Eine GPU kann nicht allein deshalb in einem ProLiant-System installiert werden, weil die Karte physisch in einen Steckplatz passt.

Die Unterstützung hängt ab von:

• der Revision von Gehäuse und Systemplatine;
• den Risern;
• den Stromkabeln;
• den Netzteilen;
• dem Lüfter-Kit;
• der thermischen Verlustleistung von CPU und GPU;
• den BIOS- und iLO-Versionen;
• den Treibern und dem Betriebssystem.

Auch verschiedene GPU-Modelle können in einem DL380a-Gen12-System nicht beliebig gemischt werden. Zulässige Beschleuniger und Einschränkungen müssen anhand der aktuellen QuickSpecs geprüft werden.

Was die Leistung eines KI-Servers außerdem begrenzt

Arbeitsspeicher

RAM wird zum Laden von Modellen, zur Datenvorbereitung, zum Zwischenspeichern von Dokumenten, zum Betrieb der Vektordatenbank und für Ein-/Ausgabepuffer verwendet.

Wenn ein Teil der Gewichte oder des KV-Caches aus dem VRAM ausgelagert wird, steigen die Anforderungen an Arbeitsspeicher und PCIe, und die Latenz kann sich deutlich verschlechtern.

Nicht nur die Kapazität in Gigabyte ist relevant; wichtig sind außerdem:

• die Anzahl der bestückten Kanäle;
• die Modulfrequenz;
• die Symmetrie zwischen den Sockeln;
• die Speicherlokalität relativ zu den GPUs;
• Reserven für Container und das Betriebssystem.

NVMe

Für einen KI-Knoten ist es sinnvoll, die Speicherrollen zu trennen:

• Boot-Array;
• Modellspeicher;
• Arbeitsdatensätze;
• Index der Vektordatenbank;
• temporärer Speicherplatz;
• Trainings-Checkpoints.

Die sequenzielle Leistung ist beim Laden großer Dateien wichtig, während bei vielen kleinen Objekten die Latenz und die Ein-/Ausgabeoperationen pro Sekunde entscheidend sind.

Beim Training muss außerdem die Schreibfestigkeit berücksichtigt werden, da Checkpoints und Zwischendaten intensive Schreibvorgänge verursachen. Lokale Laufwerke sollten nicht der einzige Speicherort für Modelle und Ergebnisse sein.

PCIe und Topologie

Die Anzahl physischer Steckplätze entspricht nicht der Anzahl von Verbindungen mit voller Geschwindigkeit. GPUs, NVMe-Laufwerke, Netzwerkkarten und Controller teilen sich PCIe-Ressourcen.

Eine ungünstige Anordnung kann dazu führen, dass:

• Daten über den anderen Prozessorsockel übertragen werden;
• eine Netzwerkkarte topologisch weit von der von ihr bedienten GPU entfernt ist;
• mehrere Geräte Bandbreite gemeinsam nutzen;
• ein Container Speicher aus dem falschen NUMA-Knoten erhält;
• Beschleuniger beim Warten auf Daten im Leerlauf bleiben.

Netzwerk

Für einen einzelnen Knoten und ein kleines RAG-System reichen 10 oder 25 Gbit/s häufig aus. Ein 100-Gbit/s-Netzwerk ist sinnvoll, wenn Modelle und Daten getrennt gespeichert werden, mehrere Server gemeinsam Inferenz bereitstellen oder große Datensätze schnell geladen werden müssen.

Für verteiltes Training werden üblicherweise 200/400-Gbit/s-Netzwerke, RoCE oder InfiniBand eingesetzt.

Ethernet bleibt das universellste Transportmedium. RoCE ergänzt Remote Direct Memory Access über eine kompatible Ethernet-Infrastruktur, erfordert jedoch eine korrekte Netzwerkkonfiguration. InfiniBand bietet eine geringe Latenz, erhöht aber die Kosten und die betriebliche Komplexität des Systems.

Anforderungen an Stromversorgung, Kühlung und Rack

Ein GPU-Server kann nicht unabhängig vom Rechenzentrum ausgewählt werden. Die Nennleistung der Netzteile zeigt nicht den tatsächlichen Verbrauch: Die Anforderungen von Beschleunigern, Prozessoren, Arbeitsspeicher, Laufwerken, Netzwerkkarten und Lüftern müssen addiert und anschließend die Redundanz berücksichtigt werden.

Bei dichten Konfigurationen sind zu prüfen:

• Kapazität und Typ der PDU;
• die Anzahl verfügbarer Anschlüsse;
• das redundante Stromversorgungskonzept;
• die zulässige Leistung pro Rack;
• die Wärmeabgabe benachbarter Server;
• die Temperatur der Zuluft;
• die Richtung des Luftstroms;
• die Verfügbarkeit einer Flüssigkeitskühlung;
• die zulässige Belastung von Rack und Doppelboden.

Ein leistungsstarker GPU-Server eignet sich nicht allein deshalb für einen gewöhnlichen Serverraum neben einem Büro, weil das Gehäuse physisch in das Rack passt. Hohe Temperaturen und unzureichende Wärmeabfuhr können zur Drosselung der Taktfrequenz führen oder die maximale Konfiguration unbrauchbar machen.

Alternativen zum DL380a Gen12 und DL385 Gen11

HPE ProLiant Compute DL380 Gen12

Dieser universelle Intel-Xeon-6-Zweisockelserver eignet sich, wenn GPU-Computing nur einer von mehreren Workloads ist. Er bietet mehr Flexibilität für Laufwerke, Netzwerkadapter und herkömmliche Anwendungen, weist jedoch eine geringere Beschleunigerdichte als der DL380a auf.

HPE ProLiant Compute DL340 Gen12

Der DL340 Gen12 ist ein 2U-System mit einem Intel-Xeon-6-Prozessor. Im GPU-Gehäuse unterstützt er bis zu vier Double-Wide- oder sechs Single-Wide-Beschleuniger.

Diese Option ist attraktiv, wenn kein zweiter Prozessor benötigt wird, aber mehr GPUs erforderlich sind, als normalerweise in einen kompakten 1U-Server passen.

HPE ProLiant DL325 Gen11 und DL325 Gen12

Der DL325 Gen11 ist ein 1U-Einsockelserver mit AMD EPYC und unterstützt bis zu zwei Double-Wide- oder vier Single-Wide-GPUs. Er eignet sich für Edge-Inferenz, virtuelle Workstations, kleine Modelle und verteilte Computer-Vision-Knoten.

Der DL325 Gen12 ist ein neuerer Compute-Server, wird von HPE jedoch vor allem als dichte universelle Einsockelplattform positioniert. Wenn der Workload mehrere GPUs erfordert, sollte die konkrete Gen12-Konfiguration besonders sorgfältig anhand der aktuellen QuickSpecs geprüft werden.

HPE ProLiant DL380a Gen11

Die vorherige Generation unterstützt bis zu vier Double-Wide- oder acht Single-Wide-Beschleuniger. Auf dem Sekundärmarkt kann sie für Inferenz und Feinabstimmung kosteneffizient sein, sofern sie mit den benötigten GPUs kompatibel ist.

Vergleichen Sie nicht den Preis eines leeren Gehäuses, sondern die Kosten einer vollständigen Konfiguration einschließlich:

• GPU-Kits;
• Risern;
• Stromkabeln;
• Hochleistungslüftern;
• Netzteilen;
• Lizenzen und Treibern;
• aktueller Firmware.

HPE ProLiant Compute XD685

Der XD685 ist für acht NVIDIA- oder AMD-Beschleuniger ausgelegt und mit direkter Flüssigkeitskühlung oder Luftkühlung erhältlich.

Der Umstieg auf eine solche Plattform ist gerechtfertigt, wenn der Workload Folgendes erfordert:

• acht eng miteinander verbundene GPUs;
• eine Hochgeschwindigkeits-Fabric innerhalb des Knotens;
• ein 200/400-Gbit/s-Netzwerk zwischen den Servern;
• spezialisierte Kühlung;
• parallelen Speicher;
• eine Softwareumgebung für verteiltes Training.

Für mehrere unabhängige Modelle kann der DL380a flexibler sein. Bei einem einzelnen großen Workload entspricht der XD685 besser der erforderlichen Architektur.

Beispielkonfigurationen nach Workload-Typ

Kleines RAG-System für Unternehmen

Eine oder zwei GPUs mit geeigneter VRAM-Kapazität, reichlich RAM, schneller NVMe-Speicher und ein Netzwerk mit 25–100 Gbit/s reichen in der Regel aus.

Der DL385 ist praktisch, wenn Vektordatenbank und Modell auf demselben Knoten betrieben werden. Der DL325 Gen11 oder ein universeller DL380 eignet sich für ein kompakteres System.

Mehrere LLMs für unterschiedliche Abteilungen

Wenn die Modelle unabhängig voneinander arbeiten, ist es sinnvoller, sie separaten GPUs zuzuweisen, als alle Beschleuniger in einer Rechendomäne zusammenzufassen.

Der DL380a kann mehr Dienste in einem Gehäuse hosten, erfordert jedoch Ressourcenbegrenzungen und einen Ausweichplan für den Fall eines Knotenausfalls.

LoRA- oder QLoRA-Feinabstimmung

Zwei bis vier GPUs, schneller lokaler NVMe-Speicher und ausreichend RAM erfüllen häufig die Anforderungen an die Feinabstimmung in Unternehmen.

Der DL385 eignet sich für mittlere Skalierung. Der DL380a ist für parallele Experimente und erwartetes Wachstum vorzuziehen.

Training eines großen Modells

Acht miteinander verbundene Beschleuniger, ein Hochgeschwindigkeitsnetzwerk, ein paralleles Dateisystem und eine spezialisierte Kühlung weisen auf die XD685-Klasse hin.

Die maximale DL380a-Konfiguration beseitigt die Kommunikationsbeschränkungen zwischen separaten PCIe-Karten nicht.

Häufig gestellte Fragen

Kann jede Server-GPU in einem ProLiant installiert werden?

Nein. Erforderlich sind eine offiziell unterstützte Karte, kompatible Riser, Stromversorgung, Lüfter, Firmware und eine geeignete Gehäusekonfiguration. Eine nicht unterstützte GPU kann theoretisch funktionieren, ein stabiler Betrieb lässt sich jedoch nicht garantieren, wenn die Karte nicht in der Hardwarekompatibilitätsliste enthalten ist.

Eignet sich der DL380a Gen12 für das Modelltraining?

Ja, insbesondere für Feinabstimmung und parallele Experimente. Für das vollständige Training eines großen Modells auf acht GPUs kann eine spezialisierte HGX-Plattform aufgrund der schnelleren Kommunikation zwischen den Beschleunigern effizienter sein.

Bedeutet eine höhere GPU-Anzahl immer mehr Geschwindigkeit?

Nein. Die Leistung kann durch VRAM-Kapazität, Topologie, GPU-zu-GPU-Kommunikation, CPU, RAM, NVMe-Speicher, Netzwerk und Software begrenzt werden.

Sind zwei Prozessoren erforderlich?

Nicht immer. Ein zweiter Prozessor ist bei vielen Beschleunigern, intensiver Datenvorbereitung und dem Bedarf an zusätzlichen PCIe-Lanes nützlich. Für eine oder zwei GPUs kann ein Einsockelsystem günstiger und einfacher sein.

Was ist für RAG wichtiger: die GPU oder NVMe-Speicher?

Die Komponenten erfüllen unterschiedliche Aufgaben. Die GPU übernimmt die Generierung und häufig die Berechnung von Embeddings, während NVMe-Speicher, RAM und CPU Retrieval, Index, Dokumente und Kontextvorbereitung verarbeiten. Die Systemgeschwindigkeit wird durch die langsamste Phase bestimmt.

Welche Plattform sollten Sie wählen?

• HPE ProLiant Compute DL380a Gen12 — für hohe GPU-Dichte, mehrere KI-Dienste, Inferenz im großen Maßstab und umfangreiche Erweiterungsreserven.
• HPE ProLiant DL385 Gen11 — für eine bis vier leistungsstarke GPUs, RAG und gemischte Workloads, bei denen CPU, Arbeitsspeicher und NVMe-Speicher wichtig sind.
• DL380 Gen12, DL340 Gen12 und DL325 Gen11 — wenn eine kleine oder mittlere Anzahl von Beschleunigern ausreicht und ein vielseitigeres oder kompakteres System erforderlich ist.
• HPE ProLiant Compute XD685 — für vollständiges Training und Feinabstimmung großer Modelle, die empfindlich auf die Kommunikationsgeschwindigkeit zwischen acht GPUs reagieren.

Die endgültige Auswahl beginnt nicht mit dem Servernamen, sondern mit Berechnungen zu Videospeicher, gleichzeitigen Anfragen, Beschleunigertopologie, Datenvolumen und Rechenzentrumskapazitäten. Erst danach lässt sich bestimmen, ob der Workload einen universellen ProLiant, einen dichten DL380a oder eine spezialisierte Plattform mit acht Beschleunigern erfordert.