Für die Entwicklung, kleine Sprachmodelle und moderate RAG-Workloads reicht ein klassischer Server der R-Serie mit einer oder zwei Grafikkarten aus. Werden drei oder vier leistungsstarke PCIe-Beschleuniger benötigt, empfiehlt sich der R760xa; für fünf bis acht Karten kommen der XE7740 oder XE7745 infrage. Große Modelle, intensives Fine-Tuning und Training mit ständigem Datenaustausch zwischen acht GPUs erfordern den XE9680, XE9780 oder XE9785. Ein Server sollte jedoch nicht allein nach der Anzahl der Grafikkarten ausgewählt werden: Zunächst sind der erforderliche VRAM, die Kontextlänge und die Parallelität zu berechnen, anschließend müssen CPU, RAM, PCIe-Lanes, NVMe-Speicher, Netzwerk, Stromversorgung und Kühlung geprüft werden.
LLM steht für Large Language Model, Inferenz bezeichnet die Ausführung des Modells zur Erzeugung einer Antwort, RAG kombiniert die Generierung mit der Suche in Unternehmensdaten, und VRAM ist der Speicher des Grafikbeschleunigers. Die Angaben zu den Modellen entsprechen dem Stand von Juli 2026; vor der Bestellung sollte die Dell-Kompatibilitätsmatrix erneut geprüft werden.
Dell PowerEdge XE servers for AI
Mit dem Workload beginnen
Hinter dem Begriff „KI-Server“ können sich Systeme mit sehr unterschiedlichen Ressourcenprofilen verbergen.
LLM-Inferenz
Für den Betrieb eines fertigen Modells sind folgende Faktoren wichtig:
- Modellgröße und Präzision der Gewichtsspeicherung;
- Kontextlänge;
- Anzahl gleichzeitiger Anfragen;
- erforderliche Antwortgeschwindigkeit;
- zulässige Zeit bis zum ersten Token.
Ein Modell kann in einem Test mit einem einzelnen Benutzer zuverlässig laufen und bei Dutzenden parallelen Dialogen dennoch den Grafikspeicher vollständig belegen. Deshalb darf ein Server nicht allein auf Grundlage eines einzelnen lokalen Testlaufs ausgewählt werden.
RAG
In einem RAG-System übernimmt der GPU-Beschleuniger nur einen Teil der Verarbeitungskette. Zusätzlich umfasst der Ablauf die Dokumentenaufnahme, die Erstellung von Embeddings, die Suche, das Reranking und die Verarbeitung von Metadaten. Zum Engpass können CPU, RAM, NVMe-Speicher oder Netzwerk werden. Eine leistungsstärkere GPU beschleunigt das System nicht, wenn die Vektordatenbank den Index nur langsam liest.
Fine-Tuning und Machine Learning
Parameter-effizientes Fine-Tuning verändert nur einen kleinen Teil des Modells und kann auf einer oder mehreren PCIe-GPUs ausgeführt werden. Vollständiges Fine-Tuning benötigt erheblich mehr Speicher, da neben den Gewichten auch Gradienten, Optimiererzustände und Zwischenaktivierungen gespeichert werden.
Computer Vision
Bei Video-Workloads sind die Anzahl der Streams, die Auflösung, der Codec, die Archivtiefe und die Latenz zu berücksichtigen. Bei Dutzenden Kameras können Netzwerk und Aufzeichnungssystem die Leistung stärker begrenzen als die GPU.
| Workload | Primär begrenzende Ressource | Häufiger zweiter Engpass | Geeignete PowerEdge-Klasse |
|---|---|---|---|
| Kleine Inferenz-Workloads | VRAM einer GPU | CPU und Netzwerk | R750, R760, R770 |
| Produktive Inferenz | VRAM und Parallelität | Kommunikation zwischen GPUs | R760xa, XE7740, XE7745 |
| RAG | Generierung und Suche | RAM, NVMe, Netzwerk | R760, R770, R760xa |
| Fine-Tuning | VRAM und GPU-zu-GPU-Kommunikation | RAM und Speicher | R760xa, XE7740, XE7745 |
| Groß angelegtes Training | Interconnect zwischen acht GPUs | Netzwerk und Stromversorgung | XE9680, XE9780, XE9785 |
| Computer Vision | GPU-Leistung | Videostreams und Speicher | R760xa, XE7740, XE7745 |
Dabei handelt es sich um Plattformklassen und nicht um fertige Konfigurationen. Ein großes RAG-System kann beispielsweise getrennte Knoten für Generierung, Suche und Speicherung benötigen.
Ein KI-Server ist die gesamte Plattform
Die GPU führt Matrixoperationen aus, ihre Auslastung hängt jedoch davon ab, wie schnell die übrigen Komponenten Daten bereitstellen. Ein teurer Beschleuniger kann wegen eines langsamen Speichers, unzureichender PCIe-Lanes oder zu geringer CPU-seitiger Verarbeitungskapazität ungenutzt bleiben.
GPU und Grafikspeicher
Rechenleistung und VRAM-Kapazität sind unterschiedliche Eigenschaften. Eine schnelle Karte mit 24 GB kann einen Workload möglicherweise nicht ausführen, der auf eine langsamere GPU mit 48 oder 96 GB passt. Umgekehrt kann bei kleineren Modellen eine schnellere Grafikkarte effizienter sein als eine langsamere Karte mit mehr Speicher.
Außerdem ist zu berücksichtigen, dass der Grafikspeicher für Folgendes verwendet wird:
- Modellgewichte;
- Cache des bereits verarbeiteten Kontexts;
- Zwischenergebnisse;
- Systempuffer;
- Batches paralleler Anfragen;
- zusätzliche Daten für das Fine-Tuning.
Daher reicht ein Vergleich ausschließlich anhand der Teraflops ebenso wenig aus wie ein Vergleich nur anhand der Gigabyte.
CPU und RAM
Prozessoren übernehmen die Tokenisierung, die Dokumentenverarbeitung, Teile der Datenbankarbeit und den Betrieb von Containerdiensten. Eine hohe Kernzahl ersetzt dabei weder Taktfrequenz noch Speicherbandbreite oder eine korrekte Geräte-Lokalität.
Je nach Gehäuse kommen Server mit Intel Xeon oder Server mit AMD EPYC infrage. Die Prozessorplattform beeinflusst die Anzahl der Kerne, die Speicherkanäle und die PCIe-Lanes, muss aber gemeinsam mit der GPU und nicht getrennt von ihr ausgewählt werden.
RAM wird zum Laden des Modells und der Vektordatenbank, zur Datenverarbeitung und für Hilfsdienste benötigt. Es gibt keine Regel, nach der der Arbeitsspeicher doppelt so groß wie der VRAM sein muss: Der Bedarf aller Komponenten ist zu berechnen und mit einer Reserve zu versehen.
PCIe und Topologie
Die Anzahl der physischen Steckplätze entspricht nicht der Anzahl der Verbindungen mit voller Bandbreite. GPUs, Netzwerkkarten und NVMe-Laufwerke teilen sich PCIe-Lanes, und einige Steckplätze können mit geringerer Link-Breite arbeiten.
In einem Zwei-Sockel-System ist entscheidend, mit welcher CPU jede Karte verbunden ist. Befinden sich die Daten im Speicher eines Prozessors, während die GPU die PCIe-Lanes des anderen Prozessors nutzt, läuft der Datenverkehr über die Verbindung zwischen den Sockeln. Deshalb sollten NUMA-Architektur und -Einstellungen, Riser-Anordnung, Lane-Breite und Speicherlokalität geprüft werden.
So wird der benötigte Grafikspeicher berechnet
Eine erste Schätzung des Speicherbedarfs für die Modellgewichte lautet:
Gewichtsspeicher ≈ Anzahl der Parameter × Größe eines Parameters.
Typische Richtwerte:
- 16-Bit-Darstellung — etwa 2 Byte pro Parameter;
- 8-Bit-Darstellung — etwa 1 Byte pro Parameter;
- 4-Bit-Darstellung — theoretisch etwa 0,5 Byte pro Parameter.
Der tatsächliche Bedarf ist aufgrund zusätzlicher Verwaltungsdaten höher. Ein Modell mit 70 Milliarden Parametern benötigt im 16-Bit-Format allein für die Gewichte etwa 140 GB und passt daher nicht auf eine einzelne Karte mit 80–96 GB VRAM.
Quantisierung reduziert den Speicherverbrauch, kann jedoch die Genauigkeit, die Geschwindigkeit bestimmter Operationen und die Kompatibilität beeinflussen. Es darf nicht davon ausgegangen werden, dass die Umstellung jedes beliebigen Modells auf 4 Bit zu einem gleichermaßen akzeptablen Ergebnis führt.
Kontext und Parallelität
Während der Generierung speichert das System Informationen über den bereits verarbeiteten Text, damit dieser nicht bei jedem Schritt erneut berechnet werden muss. Die Größe dieses Caches wächst mit der Kontextlänge, der Anzahl der Schichten und der Zahl gleichzeitiger Sequenzen. Der Wechsel von 8.000 Token auf 32.000–128.000 Token kann die VRAM-Anforderungen daher erheblich verändern. NVIDIA betrachtet den Kontext-Cache als eine der wichtigsten Einschränkungen bei der Inferenz: Durch seine Reduzierung lassen sich längere Anfragen und größere Batches bedienen.
Mehrere GPUs
Vier Karten mit jeweils 48 GB stellen physisch 192 GB VRAM bereit, doch der Speicher wird dadurch nicht zu einem einzigen schnellen gemeinsamen Pool. Die Software muss das Modell aufteilen; anschließend tauschen die einzelnen Berechnungsschritte Daten über PCIe, NVLink oder NVSwitch aus.
Das Ergebnis hängt von folgenden Faktoren ab:
- Methode der Modellaufteilung;
- Datenmenge, die bei jedem Schritt ausgetauscht wird;
- Geschwindigkeit des Interconnects;
- GPU- und CPU-Topologie;
- Unterstützung für verteilte Ausführung.
Eine Produktionskonfiguration benötigt Reserven für längere Kontexte, höhere Parallelität, Modellaktualisierungen und Systemprozesse.
PCIe und HGX/SXM: Wo liegt der Unterschied?
PCIe-Beschleuniger eignen sich für die meisten Systeme für Inferenz, RAG, Computer Vision und parameter-effizientes Fine-Tuning. Sie können einzeln installiert, passend zum Budget ausgewählt und separat ersetzt werden.
Die Einschränkung wird sichtbar, wenn ein Modell fortlaufend Daten zwischen mehreren Karten austauscht. Das Hinzufügen weiterer GPUs garantiert keinen proportionalen Leistungszuwachs, da ein Teil der Zeit für die Übertragung über PCIe benötigt wird.
In HGX-Plattformen sind die Beschleuniger über NVLink und NVSwitch miteinander verbunden. Diese Architektur eignet sich besser für Training und große Modelle, die auf acht GPUs verteilt sind. Sie ist jedoch teurer, verbraucht mehr Energie und erfordert eine geeignete Kühlungsinfrastruktur.
Acht PCIe-Karten und acht HGX-Beschleuniger sind nicht gleichwertig. Für unabhängige Modellinstanzen kann PCIe wirtschaftlicher sein; bei einem einzelnen Modell, das über alle Karten verteilt wird, ist ein schneller Interconnect wichtiger.
Welche Dell PowerEdge-Plattformen kommen infrage?
Dell Server für KI lassen sich in Standardmodelle der R-Serie, den GPU-optimierten R760xa und dichte XE-Plattformen unterteilen.
R750, R760 und R770
PowerEdge R750 eignet sich für Labore, Entwicklung, Bildverarbeitung und moderate Inferenz-Workloads. Beim Kauf eines generalüberholten Servers sollte das GPU-Kit geprüft werden: Ein Standardgehäuse enthält möglicherweise nicht die erforderlichen Riser, Luftleitbleche oder Netzteile.
PowerEdge R760 ist ein universeller 2U-Server der 16. Generation für eine oder zwei GPUs und eignet sich gut für RAG sowie für Arbeitsumgebungen von Data-Science-Teams. Wenn vier leistungsstarke Beschleuniger benötigt werden, ersetzt er den R760xa jedoch nicht.
Der R760xa ist eine spezialisierte Plattform für GPU-Workloads. Je nach Konfiguration unterstützt er bis zu vier Dual-Slot-Karten mit einer Leistungsaufnahme von bis zu 400 W oder bis zu zwölf Single-Slot-Beschleuniger. Die Plattform ist für Training, Inferenz, Analytik und virtuelle Workstations ausgelegt.
PowerEdge R770 ist eine universelle Plattform der 17. Generation. Möglich sind Konfigurationen mit sechs Single-Slot- oder zwei Dual-Slot-GPUs. Zu beachten ist, dass Dell die Leistung der H200 NVL und RTX PRO 6000 auf 450 W begrenzt und zusätzliche Anforderungen an Betriebssystem, Kernel, Riser und Kühlung stellt.
XE7740 und XE7745
XE7740 und XE7745 sind 4U-Plattformen für eine hohe Dichte an PCIe-GPUs. Das erste Modell verwendet Intel Xeon 6, das zweite AMD EPYC. Sie bilden eine Zwischenklasse zwischen dem R760xa und HGX-Systemen.
Der XE7740 unterstützt bis zu acht Dual-Slot-PCIe-Gen5-x16-Karten mit bis zu 600 W oder bis zu sechzehn Single-Slot-Karten mit bis zu 75 W. Er eignet sich für produktive Inferenz, Fine-Tuning, Videoverarbeitung und mehrere unabhängige Modelle.
XE9680, XE9780 und XE9785
Der XE9680 ist eine 6U-Plattform mit acht NVIDIA-H100/H200-, AMD-MI300X- oder Intel-Gaudi-3-Beschleunigern, abhängig von der jeweiligen Ausführung. Er ist für Training, große Modelle und High Performance Computing ausgelegt.
XE9780 und XE9785 gehören zu einer neuen Generation luftgekühlter Systeme mit acht eng gekoppelten Beschleunigern. Der XE9780 verwendet Intel Xeon 6 und NVIDIA HGX B200/B300, der XE9785 AMD EPYC. Dell positioniert diese Klasse für Training, groß angelegte Inferenz und KI-Cluster.
| Plattform | Typische GPU-Konfiguration | Geeignete Workloads | Einschränkungen |
|---|---|---|---|
| R750 | Eine moderate Anzahl von Karten früherer Generationen | Entwicklung, kleine Modelle, Computer Vision | PCIe Gen4; abhängig vom GPU-Kit |
| R760 | Eine oder zwei leistungsstarke GPUs | RAG, Entwicklung, Inferenz | Geringere Dichte als beim R760xa |
| R760xa | Bis zu vier Dual-Slot-GPUs | Inferenz, ML, Fine-Tuning | Leistungs- und Kühlungsgrenzen im 2U-Formfaktor |
| R770 | Bis zu zwei Dual-Slot- oder sechs Single-Slot-GPUs | Moderne Unternehmensinferenz | Leistungsstarke Karten können TDP-Begrenzungen unterliegen |
| XE7740/XE7745 | Bis zu acht leistungsstarke PCIe-GPUs | Groß angelegte Inferenz, Computer Vision, Fine-Tuning | Kein gemeinsames HGX-Modul |
| XE9680 | Acht H100/H200-, MI300X- oder Gaudi-3-Beschleuniger | Große LLMs, Training, HPC | Hohe Anforderungen an die Stromversorgung |
| XE9780/XE9785 | Acht Beschleuniger der nächsten Generation | Training und groß angelegte Inferenz | Vorbereitete Infrastruktur erforderlich |
Die GPU-Unterstützung hängt von Risern, Laufwerken, Netzwerkkarten, Lüftern und Netzteilen ab. Die Modellbezeichnung des Servers allein bestätigt die Kompatibilität nicht.
PowerEdge für einen bestimmten Workload auswählen
Kleine LLMs und Entwicklung
Für Modelle mit 7–14 Milliarden Parametern und einen internen Assistenten für ein kleines Team reicht häufig eine GPU mit ausreichendem VRAM aus. Wenn das Budget im Vordergrund steht, kommt der R750 infrage. Für eine neue Infrastruktur ist es sinnvoller, PowerEdge der 16. Generation und PowerEdge der 17. Generation miteinander zu vergleichen.
Zwei schwächere Karten sind nicht immer sinnvoller als eine GPU mit mehr VRAM und/oder zusätzlichem RAM und schnellem NVMe-Speicher. Ein Modell auf einem einzigen Beschleuniger ist einfacher zu konfigurieren, da der Betrieb mit mehreren GPUs von der Anwendung unterstützt werden muss und häufig durch den Interconnect begrenzt wird.
Produktive Inferenz
Der Server wird anhand von drei Kriterien ausgewählt:
- Passt das Modell zusammen mit dem Kontext-Cache in den VRAM?
- Wie viele Anfragen werden gleichzeitig verarbeitet?
- Welche Latenz ist zulässig?
Für eine oder zwei leistungsstarke GPUs eignet sich der R770, für drei oder vier der R760xa. Fünf bis acht PCIe-Karten und mehrere unabhängige Modelle sprechen für den XE7740/XE7745. Wird ein großes Modell auf alle Beschleuniger verteilt, sind XE9680/XE9780/XE9785 besser geeignet.
RAG
Ein RAG-System sollte als Verbund mehrerer Dienste konzipiert werden. Generatives Modell, Embeddings, Reranking, Vektordatenbank, Dokumentenverarbeitung und persistenter Speicher sind getrennt zu bewerten.
Bei einem mittelgroßen Projekt kann die Generierung auf einem R760 oder R770 laufen, während Datenbank und Indexierung auf einem separaten Knoten mit viel RAM und schnellem NVMe-Speicher betrieben werden.
Ein einzelner R760xa ist sinnvoll, wenn Kompaktheit und Einfachheit wichtig sind. Die Indexierung sollte jedoch nicht mit der Generierung um CPU-, RAM- und Speicherressourcen konkurrieren.
Fine-Tuning
Parameter-effizientes Fine-Tuning kleiner und mittelgroßer Modelle ist auf dem R760xa möglich. Für mehrere leistungsstarke GPUs und große Datensätze eignen sich XE7740/XE7745. Das vollständige Fine-Tuning eines großen Modells benötigt Speicher für Gradienten und Optimiererzustände; deshalb bieten XE9680/XE9780/XE9785 mit schneller Kommunikation zwischen den Beschleunigern eine passendere Architektur.
Computer Vision
Für die Stapelverarbeitung reicht der R760xa häufig aus. Bei einer großen Anzahl unabhängiger Streams ermöglichen XE7740/XE7745 die Verteilung von Kameras oder Modellen auf mehrere GPUs. Vor der Bestellung sind Anzahl der Streams, Auflösung, Codec, erforderliche Latenz, Aufbewahrungsdauer des Archivs, CPU-Last und Netzwerkbandbreite festzulegen.
Mehrere weniger dichte Knoten in der Nähe der Videoquellen können mitunter effizienter sein als ein zentraler Server, da nicht der gesamte Datenstrom über das gemeinsame Netzwerk übertragen werden muss.
Private KI im Unternehmen
Für ein geschlossenes Unternehmenssystem sind Verwaltung und Ausfallsicherheit besonders wichtig. iDRAC und OpenManage ermöglichen Fernsteuerung, zentrale Firmware-Updates und Telemetrie. Produktions- und Testumgebungen sollten voneinander getrennt werden, damit Aktualisierungen von Modellen und Bibliotheken den laufenden Dienst nicht beeinträchtigen.
Bei geschäftskritischen Workloads und strengen Verfügbarkeitsanforderungen muss die Architektur redundante Strom- und Netzwerkpfade sowie die Wartung einzelner Knoten ohne Abschaltung des gesamten Systems vorsehen.
Speicher für LLM und RAG
Die Systempartition sollte vorzugsweise auf gespiegelten M.2-Laufwerken in BOSS liegen, während Modelle, Indizes und Datensätze auf separaten Laufwerken gespeichert werden.
Lokale NVMe-Laufwerke werden für Folgendes verwendet:
- Modellgewichte;
- Vektorindizes;
- Cache und temporäre Dateien;
- Trainingsdatensätze;
- Checkpoints.
Bei RAG ist nicht nur der sequenzielle SSD-Durchsatz wichtig, sondern auch die Latenz bei wahlfreien Zugriffen. Eine große Zahl kleiner Dateien und häufige Indexaktualisierungen können stärker von den IOPS abhängen.
Fehlertolerantes RAID ist für Daten erforderlich, die den Ausfall eines Laufwerks überstehen müssen. Bei direkt angeschlossenen NVMe-Laufwerken wird die Ausfallsicherheit durch das Betriebssystem, die Anwendung oder die Replikation auf einen anderen Knoten gewährleistet. HDDs können weiterhin für Archive verwendet werden, jedoch nicht für Modelle oder eine aktive RAG-Datenbank, da ihre Leistung bei zufälligen Lesezugriffen nicht ausreicht.
Netzwerk und Skalierung
Für die Entwicklung können 10 Gbit/s ausreichen. Ein produktives RAG-System, gemeinsam genutzter Speicher und mehrere GPU-Knoten benötigen in der Regel 25–100 Gbit/s. Netzwerke mit 200–400 Gbit/s sind bei verteiltem Training und häufigem Tensor-Austausch zwischen Servern relevant.
Management-Datenverkehr, Benutzeranfragen, Speicherzugriffe und die Kommunikation zwischen Rechenknoten sollten möglichst getrennt werden, mindestens auf VLAN-Ebene.
Die Portgeschwindigkeit garantiert keine entsprechende Leistung, wenn der Adapter PCIe-Ressourcen mit einer GPU teilt oder der gemeinsam genutzte Speicher langsamer als das Netzwerk ist. Die Verteilung eines Modells auf mehrere Server erhöht die Latenz, während unabhängige Inferenzinstanzen effizienter skalieren.
Stromversorgung und Kühlung
In einem KI-Server verbrauchen die GPUs häufig mehr Energie als alle übrigen Komponenten zusammen. Die Berechnung muss den Verbrauch der Beschleuniger, CPUs, RAM-Module, NVMe-Laufwerke, Netzwerkkomponenten und Kühlsysteme sowie Netzteilverluste und kurzzeitige Leistungsspitzen einbeziehen.
Die Nennleistungen zweier Netzteile dürfen nicht einfach addiert werden. In einer redundanten Konfiguration muss der Server den Workload nach dem Ausfall eines Netzteils weiter betreiben können. Systeme mit hoher Leistungsdichte können außerdem 200–240 V, mehrere Stromanschlüsse, geeignete PDUs und eine separate Berechnung der Rack-Leistung erfordern.
Passive Server-GPUs werden durch den Luftstrom im Gehäuse gekühlt. Eine GPU-fähige Konfiguration kann daher spezielle Lüfter, Kühlkörper und Luftleitbleche enthalten. Der nachträgliche Einbau leistungsstarker Karten in einen Standardserver erfordert häufig den Austausch von Risern, Kabeln, Netzteilen und Teilen der Laufwerkskonfiguration.
Flüssigkeitskühlung reduziert die Belastung der Raumluft, erfordert jedoch Verteiler, Wärmetauscher, Leckageüberwachung und einen entsprechend vorbereiteten Kühlkreislauf im Rechenzentrum.
Softwarekompatibilität und Betrieb
Die GPU-Unterstützung muss gemeinsam mit Betriebssystem und Treibern geprüft werden. Eine Karte kann eine bestimmte Version von Linux, Kernel, CUDA oder Server-Firmware erfordern. Die Unterstützung durch einen Hypervisor garantiert nicht, dass sämtliche Funktionen des Beschleunigers innerhalb einer virtuellen Maschine verfügbar sind.
Für den Produktivbetrieb sollte ein validierter Versionssatz festgelegt und beibehalten werden:
- Linux und Kernel;
- GPU-Treiber;
- Container-Stack;
- Orchestrierungsplattform;
- GPU-Sharing-Modus;
- BIOS, iDRAC und Geräte-Firmware.
Das Monitoring sollte nicht nur den Hardwarezustand, sondern auch VRAM-Auslastung, Anfragewarteschlangen, Speichergeschwindigkeit und Modelllatenz abdecken. Der Server kann technisch vollständig funktionsfähig sein, während die Anwendung aufgrund unzureichenden Speichers oder einer überlasteten Datenbank langsamer wird.
Typische Fehler bei der Auswahl von PowerEdge für KI
- Nur auf die Anzahl der GPUs achten. Physische Steckplätze garantieren weder genügend PCIe-Lanes noch ausreichende Stromversorgung oder Kühlung.
- Nur die Rechenleistung vergleichen. Eine schnelle Karte ist nutzlos, wenn das Modell nicht in den VRAM passt.
- GPU-Speicher einfach addieren. Die gemeinsame Nutzung der Gesamtkapazität erfordert eine Modellaufteilung und Kommunikation zwischen den Karten.
- Nur die Gewichte berücksichtigen. Kontext, Parallelität und Arbeitspuffer benötigen ebenfalls Speicher.
- Ein Standardgehäuse für ein späteres Upgrade kaufen. Erforderliche Riser, Kabel, Lüfter und Netzteile können fehlen, sodass die Kosten des Upgrades mitunter dem Kauf eines neuen Gehäuses entsprechen.
- Bei NVMe in einem RAG-System sparen. Ein langsamer Index lässt die Beschleuniger auf Daten warten.
- CPU und RAM unterschätzen. Dies fällt besonders bei der Verarbeitung von Dokumenten, Videos und Datensätzen auf.
- PCIe- und NUMA-Topologie ignorieren. GPUs, Speicher, Netzwerk und Laufwerke können mit unterschiedlichen Prozessoren verbunden sein.
- Stromversorgungsredundanz falsch berechnen. Das System muss den Workload nach dem Ausfall eines Netzteils weiter bewältigen.
- Thermische Grenzen ignorieren. Die Unterstützung einer Karte bedeutet nicht, dass jede Konfiguration bei jeder Umgebungstemperatur betrieben werden kann.
- Betriebssystem und Treiber nicht prüfen. Neue GPUs können bestimmte Kernel- und Bibliotheksversionen erfordern.
- Sich auf einen Demonstrationstest verlassen. Eine einzelne Anfrage mit kurzem Kontext bildet einen produktiven Workload nicht ab.
Welche Plattform sollte gewählt werden?
Der R750 eignet sich für budgetorientierte Entwicklung und moderate GPU-Workloads. R760 und R770 sind für eine oder zwei Grafikkarten, kleine und mittelgroße LLMs, RAG und Unternehmensinferenz vorgesehen. Der R760xa ist die richtige Wahl, wenn bis zu vier leistungsstarke PCIe-GPUs in 2U benötigt werden.
XE7740 und XE7745 eignen sich für fünf bis acht PCIe-Beschleuniger, groß angelegte Inferenz, Computer Vision und Fine-Tuning. XE9680, XE9780 und XE9785 werden für große Modelle, intensives Training und Workloads benötigt, die empfindlich auf die Kommunikationsgeschwindigkeit zwischen acht GPUs reagieren.
Die Auswahl sollte in folgender Reihenfolge erfolgen: Modell, Präzision, Kontextlänge, Parallelität und Datenfluss definieren; VRAM-Bedarf berechnen; GPU-Klasse auswählen; PCIe prüfen; anschließend CPU, RAM, NVMe-Speicher, Netzwerk, Stromversorgung und Kühlung festlegen. Dieser Ansatz verhindert, dass teure Beschleuniger installiert werden, die Plattform sie jedoch nicht ausreichend mit Daten versorgen oder unter Volllast stabil betreiben kann.
Inhaltsverzeichnis:
