Für die meisten unternehmensweiten RAG-Systeme, lokalen KI-Assistenten und die Inferenz von Modellen mit bis zu 70 Milliarden Parametern ist ein Server mit einer oder mehreren RTX PRO 6000 ein sinnvoller Ausgangspunkt. Der B200 wird benötigt, wenn ein großes Modell auf eng miteinander verbundene Beschleuniger verteilt werden muss und gleichzeitig viele Anfragen zu bedienen sind. Der B300 ist bei noch höheren Anforderungen an den GPU-Speicher, lange Kontexte und die Inferenzdichte von Reasoning-Modellen gerechtfertigt. Ein H100 oder H200 kann wirtschaftlicher sein, wenn die Aufgabe bereits in dessen Leistungsrahmen passt und eine fertige Plattform günstiger verfügbar ist.
Blackwell umfasst verschiedene Hardwareklassen. Die RTX PRO 6000 ist eine eigenständige PCIe-Karte für einen universellen GPU-Server. B200 und B300 werden in der Regel als Teil einer HGX-Plattform erworben, bei der acht SXM-Beschleuniger über NVLink und NVSwitch verbunden sind. Deshalb sollten nicht nur die GPUs, sondern auch die Serverarchitektur, die Modellgröße, die erwartete Last, die Zahl der Nutzer und die Anforderungen des Rechenzentrums verglichen werden.
AI servers with NVIDIA RTX PRO 6000, B200 and B300 GPUs
Drei Klassen von Blackwell-Servern
RTX PRO 6000 Blackwell Server Edition
Die RTX PRO 6000 Server Edition verfügt über 96 GB GDDR7-Speicher mit Fehlerkorrektur, eine Bandbreite von rund 1,6 TB/s und eine konfigurierbare Leistungsaufnahme von bis zu 600 W. Die Karte ist für serverseitige Luft- oder Flüssigkeitskühlung ausgelegt und eignet sich nicht nur für LLMs, sondern auch für Video, 3D, digitale Zwillinge und andere Rechenaufgaben einschließlich technischer Anwendungen.
Ein Server kann mit einer, zwei, vier oder acht Karten konfiguriert werden, wobei sich die Ressourcen auf verschiedene Dienste verteilen lassen. Beispielsweise kann eine GPU ein generatives Modell ausführen, die zweite Embeddings und Reranking übernehmen und die dritte Bilder verarbeiten.
Die Server Edition darf nicht mit der Workstation Edition oder der Max-Q Workstation Edition verwechselt werden. Sie besitzen zwar dieselbe Speicherkapazität, unterscheiden sich jedoch bei Konstruktion, Kühlung und zulässiger Leistungsaufnahme. Für einen Rack-Server ist eine Version erforderlich, deren Unterstützung vom Systemhersteller bestätigt wurde.
B200
Der B200 ist ein Beschleuniger der Rechenzentrumsklasse mit 180 GB HBM3e. In einer typischen HGX-Konfiguration sind acht B200-GPUs auf einem gemeinsamen Baseboard installiert und über NVLink/NVSwitch miteinander verbunden. Diese Architektur ist für Aufgaben ausgelegt, bei denen ein Modell oder Trainingsprozess kontinuierlich Daten zwischen mehreren GPUs austauscht.
HBM3e bietet nicht nur eine größere Kapazität, sondern auch eine höhere Speicherbandbreite. Das ist beim Lesen der Gewichte großer Modelle, beim Bilden umfangreicher Anfrage-Batches und bei verteilter Inferenz wichtig.
B300 und GB300
Der B300 gehört zur Blackwell-Ultra-Generation. Eine einzelne GPU enthält physisch bis zu 288 GB HBM3e, während ein Knoten mit acht Beschleunigern insgesamt rund 2,3 TB GPU-Speicher bereitstellt. Einige Hersteller können etwa 270 GB nutzbaren Speicher pro GPU angeben, da ein Teil der Kapazität für Systemfunktionen und Zuverlässigkeit reserviert wird.
Der B300 ist auf große Modelle einschließlich Reasoning-Modellen sowie auf lange Kontexte und hohe Parallelität ausgerichtet. Eine Bandbreite von bis zu 8 TB/s pro GPU beschleunigt die Arbeit mit Modellgewichten und einem großen KV-Cache.
Wichtig ist, dass B300 und GB300 nicht dasselbe sind. Der B300 kann in einem HGX-Server mit Intel-Xeon- oder AMD-EPYC-Prozessoren eingesetzt werden. Der GB300 kombiniert Blackwell Ultra mit einem Grace-Prozessor und wird in spezialisierten Grace-Blackwell-Rackplattformen einschließlich NVL72 verwendet.
Warum acht RTX PRO 6000 nicht acht B200 entsprechen
Acht RTX PRO 6000 stellen 768 GB physischen GDDR7-Speicher bereit, dieser bleibt jedoch auf einzelne PCIe-Karten verteilt. Die Anwendung muss das Modell, die Daten oder die Anfragen ausdrücklich auf die GPUs aufteilen.
Auch bei HGX befindet sich der Speicher physisch auf separaten Beschleunigern. Der Unterschied besteht darin, dass NVLink und NVSwitch einen schnellen Datenaustausch zwischen ihnen ermöglichen. Die offizielle HGX-Architektur nennt 180 GB für den B200, 288 GB für den B300 und bis zu 1,8 TB/s GPU-zu-GPU-Bandbreite.
| Kriterium | RTX PRO 6000 Server Edition | HGX B200 | HGX B300 |
|---|---|---|---|
| Formfaktor | Eigenständige PCIe-Karte | 8 SXM-GPUs auf einem HGX-Baseboard | 8 Blackwell-Ultra-SXM-GPUs |
| Speicher pro GPU | 96 GB GDDR7 ECC | 180 GB HBM3e | Bis zu 288 GB HBM3e |
| GPU-Verbindung | Über die PCIe-Topologie | NVLink und NVSwitch | NVLink und NVSwitch |
| Skalierung | Flexibel, beginnend mit einer GPU | Eng gekoppelter Knoten | Eng gekoppelter Knoten |
| Hauptanwendungen | Private KI, RAG, LoRA, Video und 3D | Große Modelle, Training, hohe Parallelität | Lange Kontexte, Reasoning-Modelle, maximale Dichte |
| Risiko einer Überinvestition | Viele Karten kaufen, ohne den Kommunikationsengpass zu lösen | Einen teuren Knoten nicht auslasten | Den zusätzlichen Speicher nicht nutzen |
Wenn jede GPU ein separates Modell oder eine eigene Anfragewarteschlange bedient, skaliert ein PCIe-Server effizient. Beim Tensorparallelismus werden die Berechnungen einer einzelnen Schicht jedoch auf mehrere GPUs verteilt, sodass Aktivierungen ständig ausgetauscht werden müssen. Die Verbindung wird damit Teil des Rechenpfads, was HGX einen grundlegenden Vorteil verschafft.
Zwei Server mit jeweils vier RTX PRO 6000 können mitunter besser sein als ein einzelner Knoten mit acht GPUs: Die Ausfallsicherheit steigt und unabhängige Dienste lassen sich leichter verteilen. Bei einem einzigen monolithischen Modell erhöht dieses Konzept dagegen die Anforderungen an das Netzwerk zwischen den Servern.
Wie viel GPU-Speicher benötigt ein LLM tatsächlich?
Eine erste Schätzung lässt sich anhand der Größe der Modellgewichte vornehmen:
- BF16 oder FP16 — ungefähr 2 Byte pro Parameter;
- FP8 oder INT8 — rund 1 Byte;
- 4-Bit-Speicherung — rund 0,5 Byte;
- zusätzliche Reserve wird für Puffer, Systemdaten und die Inferenz-Engine benötigt.
Ein Modell mit 70 Milliarden Parametern belegt etwa 140 GB in BF16, 70 GB in 8-Bit-Darstellung und 35 GB in 4-Bit-Darstellung. Das bedeutet nicht, dass jede Datei dieser Größe garantiert ausgeführt werden kann: Der Speicherbedarf hängt von Architektur, Quantisierung, Kontextlänge, Batchgröße und Software-Engine ab.
Ein Modell mit 405 Milliarden Parametern benötigt selbst in 4-Bit-Darstellung allein für die Gewichte mehr als 200 GB. Die Unterbringung der Gewichte ist jedoch nur der erste Teil der Berechnung.
KV-Cache
Während der Generierung speichert das Modell Zwischenrepräsentationen vorheriger Token im KV-Cache, also im Key-Value-Cache. Seine Größe wächst mit:
- der Kontextlänge;
- der Zahl gleichzeitiger Sequenzen;
- der Zahl der Schichten und der Modelldimension;
- der Speicherpräzision des Caches.
Ein Modell kann für einen einzelnen Nutzer stabil laufen und bei Dutzenden parallelen Sitzungen den Speicher vollständig belegen. Daher reichen 96 GB häufig für einen internen Assistenten aus, sind aber für einen stark ausgelasteten Dienst mit umfangreichen Dokumenten zu wenig.
Der zusätzliche Speicher des B300 wird häufig nicht für größere Gewichte genutzt, sondern um mehr Anfragen zu verarbeiten, ohne den KV-Cache in den Arbeitsspeicher oder auf Netzwerkspeicher auszulagern.
Mixture-of-Experts-Modelle
Bei MoE-Modellen wird für die Verarbeitung jedes Tokens nur ein Teil der Blöcke aktiviert. Das reduziert den Rechenaufwand, der vollständige Satz an Gewichten muss jedoch weiterhin gespeichert werden. Der benötigte Speicher darf deshalb nicht allein anhand der Zahl aktiver Parameter geschätzt werden.
Für MoE-Workloads sind die Gesamtzahl der Parameter, die Zahl aktiver Experten, die Verteilungsmethode und das Kommunikationsvolumen zwischen den GPUs entscheidend.
Wann die RTX PRO 6000 ausreicht
Die RTX PRO 6000 ist eine vielseitige Server-GPU für Aufgaben, bei denen Flexibilität wichtiger ist als maximale Dichte. Eine oder zwei Karten können die Anforderungen eines Unternehmens häufig erfüllen, ohne Tausende gleichzeitige Nutzer bedienen zu müssen.
Geeignete Szenarien sind:
- Unternehmensassistenten und RAG;
- Codegenerierung und Codeanalyse;
- Inferenz von 7B–70B-Modellen in einem optimierten Format;
- Feinabstimmung mit LoRA und QLoRA;
- Spracherkennung und Videoverarbeitung;
- multimodale Modelle mittlerer Größe;
- mehrere unabhängige KI-Dienste;
- ein Pilotprojekt ohne verlässliches Lastprofil.
Der Vorteil einer PCIe-Plattform besteht darin, mit einer kleineren Konfiguration beginnen zu können. Beispielsweise kann ein Dell PowerEdge XE7740 mit RTX PRO 6000 als Grundlage für mehrere Beschleuniger dienen, ohne direkt auf HGX umzusteigen. Die Zahl der unterstützten Karten, ihre Leistungsaufnahme, die Kühlung und die Verteilung der PCIe-Lanes sollten vorab geprüft werden.
Vier oder acht RTX PRO 6000 sind gerechtfertigt, wenn die GPUs unabhängige Aufgaben für verschiedene Modelle, Mandanten oder Warteschlangen ausführen. Wird ein großes Modell auf alle Karten verteilt, kann die Bandbreite des PCIe-Busses die Skalierung begrenzen.
Wann der B200 zur begründeten Wahl wird
Der B200 wird benötigt, wenn die Last die Vorteile von HGX tatsächlich nutzt und nicht lediglich viele GPUs erfordert:
- das Modell passt nicht auf einen einzelnen Beschleuniger;
- eine Anfrage wird von mehreren GPUs verarbeitet;
- alle Modellgewichte werden vollständig feinabgestimmt;
- die Geschwindigkeit kollektiver Operationen ist wichtig;
- der Dienst bedient viele Nutzer;
- große Anfrage-Batches werden verwendet;
- mehrere HGX-Knoten werden zu einem Cluster verbunden.
Der Dell PowerEdge XE9780 mit acht B200-GPUs ist eine eng gekoppelte KI-Plattform. HBM3e bietet Platz für große Modellgewichte und einen größeren KV-Cache, während NVLink/NVSwitch den Overhead bei der Verteilung des Modells innerhalb des Knotens reduziert.
Der B200 beseitigt jedoch keine Engpässe im übrigen System. Erforderlich sind ausreichend RAM, schnelle NVMe-Laufwerke, ein Speichernetzwerk, schnelle Verbindungen zwischen den Knoten und ein Software-Stack, der Parallelität effizient nutzt. Werden Daten zu langsam bereitgestellt oder stehen die GPUs zwischen Anfragen still, liefert ein teurer HGX-Server nicht die erwartete Wirtschaftlichkeit.
Wann der B300 gerechtfertigt ist
Der B300 löst in erster Linie Kapazitäts- und Dichteprobleme. Er wird benötigt, wenn der B200 bereits die Modellgröße, die Kontextlänge oder die Zahl paralleler Sequenzen begrenzt.
Geeignete Aufgaben sind:
- sehr große dichte Modelle und MoE-Modelle;
- Reasoning-Modelle mit langer interner Generierung;
- Inferenz mit hohem Durchsatz und großem KV-Cache;
- lange Kontexte bei hoher Parallelität;
- vollständige Feinabstimmung großer Modelle;
- Infrastruktur mit maximaler Leistung pro Rack;
- ein langfristig ausgelegtes Projekt mit kontinuierlicher Auslastung.
Ein PowerEdge XE9780 mit B300 ist sinnvoll, wenn der zusätzliche HBM-Speicher die Auslagerung des Caches vermeidet, die Zahl der Server reduziert oder die erforderliche Anzahl an Sitzungen ermöglicht.
Der B300 ist für ein kleines RAG-System, mehrere 7B–70B-Modelle oder seltene Lasten überdimensioniert. Spitzenwerte werden häufig für FP4 und LLM-Aufgaben angegeben; sie lassen sich nicht direkt mit BF16, FP16 oder FP64 vergleichen. Niedrige Präzision ist nur dann nützlich, wenn Modell und Software-Stack sie ohne unvertretbaren Qualitätsverlust unterstützen.
AI servers with NVIDIA RTX PRO 6000, B200 and B300 GPUs
Wie sich die Wahl je nach Last verändert
Private KI
Für einen lokalen Assistenten, die Suche in internen Daten und mehrere spezialisierte Modelle reichen meist eine oder zwei RTX PRO 6000 aus. Wichtiger sind eine korrekte Organisation des Datenzugriffs, die Trennung der Nutzer, Protokollierung und Redundanz.
Ein B200 oder B300 ist sinnvoll, wenn die Plattform Tausende Mitarbeitende bedient, mehrere Abteilungen gleichzeitig große Modelle nutzen und Ausfallzeiten kritische Prozesse beeinträchtigen.
RAG
RAG (Retrieval-Augmented Generation, bei der ein Modell mit einer externen Wissensbasis arbeitet) ist für sich genommen kein Grund, automatisch einen B200 oder B300 zu kaufen. Die Pipeline umfasst:
- Extraktion und Bereinigung von Dokumenten;
- Embeddings;
- eine Vektordatenbank und Suche;
- Reranking;
- das generative Modell.
Der Engpass kann bei der Indexierung, der Suchqualität, dem Speicher oder der Dokumentvorbereitung liegen. Für viele Unternehmenssysteme reicht eine RTX PRO 6000 für die Generierung aus, während eine kleinere GPU oder sogar eine CPU die unterstützenden Schritte übernehmen kann.
Ein B200/B300 wird benötigt, wenn das Modell groß ist, viele Anfragen eingehen, die Dokumente einen langen Kontext erzeugen und das Latenzziel keine Auslagerung von Daten aus dem GPU-Speicher erlaubt.
Inferenz
Bei der Inferenz gibt es zwei unterschiedliche Ziele: minimale Latenz für einen einzelnen Nutzer und maximaler Gesamtdurchsatz des Servers.
Bewertet werden sollten:
- die Zeit bis zum ersten Token;
- die Geschwindigkeit der weiteren Generierung;
- die Latenz bei Spitzenlast;
- die Zahl gleichzeitiger Sequenzen;
- die Leistung des gesamten Knotens;
- der Anteil der Anfragen, die die zulässige Antwortzeit überschreiten.
Die beste GPU für eine einzelne Anfrage bietet bei hoher Last nicht zwangsläufig die niedrigsten Kosten pro Million Token.
Feinabstimmung und multimodale Modelle
LoRA und QLoRA verändern nur einen vergleichsweise kleinen Teil der Parameter und benötigen weniger Speicher als eine vollständige Feinabstimmung. Für die Anpassung kleiner und mittelgroßer Modelle reicht die RTX PRO 6000 häufig aus.
B200 und B300 werden benötigt, wenn alle Gewichte aktualisiert werden, große Batches zum Einsatz kommen, das Training über mehrere GPUs läuft oder der Zyklus innerhalb strenger Fristen abgeschlossen werden muss.
Die RTX PRO 6000 eignet sich außerdem für gemischte Lasten mit Text, Bildern, Video, 3D und professioneller Grafik. B200/B300 werden nicht wegen des Vorhandenseins von Bildern in der Eingabe gewählt, sondern aufgrund der Modellgröße, der Trainingsanforderungen und der Parallelität.
Was bestimmt die Leistung außer der GPU?
Prozessoren und Arbeitsspeicher
Die CPU übernimmt Tokenisierung, Datenvorbereitung, API-Verarbeitung, Anfrage-Routing und RAG-Operationen. Eine übermäßige Zahl an Kernen beschleunigt das Modell nicht automatisch, doch ein schwacher Prozessor oder eine ungünstige PCIe-Topologie kann die Datenzufuhr begrenzen.
RAM wird zum Laden von Gewichten, Caches, Datensätzen, der Vektordatenbank und gegebenenfalls ausgelagerten Teilen des Modells benötigt. In einem System mit zwei Sockeln sollte der Speicher gleichmäßig auf Kanäle und NUMA-Knoten verteilt werden.
NVMe und Netzwerk
Schnelle NVMe-Laufwerke verkürzen die Ladezeiten von Modellen und Checkpoints und beschleunigen Datensätze sowie den lokalen Cache. Wichtig sind eine stabile Leistung bei gemischten Lasten, Schreibfestigkeit, Ausfallschutz und ausreichend Kapazität für mehrere Modellversionen.
In einem einzelnen Server bedient das Netzwerk Clients, Speicher und Verwaltung. In einem B200/B300-Cluster wird es Teil des Rechensystems. Ein langsames Netzwerk zwischen den Knoten verringert die Effizienz des verteilten Trainings, selbst wenn die GPUs innerhalb eines Knotens über NVLink verbunden sind.
Stromversorgung und Kühlung
Eine einzelne RTX PRO 6000 nimmt bis zu 600 W auf, sodass acht Karten allein für die GPUs bis zu 4,8 kW benötigen können. Hinzu kommen Prozessoren, Arbeitsspeicher, Laufwerke, Netzwerkkarten und Lüfter.
Das DGX B300 ist ein 10U-System mit einer Leistungsaufnahme von rund 14,5 kW, zwölf Netzteilen und einer Wärmeabgabe von etwa 49.500 BTU/h. Es benötigt ein vorbereitetes Rack, geeignete PDUs, ausreichenden Luftstrom und eine Prüfung der zulässigen Masse.
Auch ein luftgekühlter HGX-Server darf nicht als gewöhnlicher Rack-Knoten betrachtet werden, der in jeder Colocation-Umgebung installiert werden kann. Rack-Leistung, Redundanz, Temperatur der Zuluft und Kühlkapazität des Rechenzentrums müssen berücksichtigt werden.
Wirtschaftlichkeit: Die Kosten des gesamten Dienstes berechnen
Der Preis der GPU ist nur ein Teil der Ausgaben. Zu den Gesamtkosten gehören Server, Netzwerk, NVMe, externer Speicher, Rack-Platz, Strom, Kühlung, Lizenzen, Support, Redundanz und Arbeitsaufwand der Ingenieure.
Plattformen lassen sich sinnvoller anhand der folgenden Kennzahlen vergleichen:
- Kosten pro Million Token;
- Token pro Sekunde je Server und je Watt;
- Kosten pro Nutzersitzung;
- Dauer der Feinabstimmung;
- tatsächliche GPU-Auslastung;
- Kosten von Ausfallzeiten.
Ein Server mit RTX PRO 6000 und einer Auslastung von 70–80 % kann wirtschaftlicher sein als ein HGX B300 mit nur 10–15 % Auslastung. Bei rund um die Uhr laufender Inferenz mit hohem Durchsatz können B200 oder B300 die Kosten pro Token jedoch durch höhere Dichte und weniger Knoten senken.
Ein universeller PCIe-Server lässt sich leichter erweitern und anderen Aufgaben zuweisen. HGX eignet sich besser für einen standardisierten Cluster mit dauerhaft hoher Auslastung und teuren Ausfallzeiten.
Wann H100 oder H200 wirtschaftlich sinnvoller als Blackwell sind
Hopper bleibt relevant, wenn die Aufgabe in den verfügbaren Speicher- und Leistungsrahmen passt. Der H100 sollte erwogen werden, wenn das Modell in 80 GB passt, der Software-Stack bereits erprobt ist und ein fertiger Server deutlich günstiger oder schneller lieferbar ist.
Der H200 nimmt eine Zwischenposition ein: 141 GB HBM3e und 4,8 TB/s Bandbreite machen ihn zu einer starken Option für speicherbegrenzte Inferenz, die Blackwell noch nicht erfordert.
Ein PowerEdge XE9680 mit H200 kann wirtschaftlich sinnvoller als der B200 sein, wenn 141 GB pro GPU ausreichen, FP4 nicht benötigt wird, die Infrastruktur auf Hopper standardisiert ist und der Preisunterschied den Vorteil der neueren Generation übersteigt.
Der Umstieg auf Blackwell ist gerechtfertigt, wenn dadurch eine messbare Einschränkung beseitigt wird: zu wenig Speicher, geringe Bandbreite, eine übermäßig hohe Zahl an Servern oder eine unvertretbar lange Trainingsdauer.
Auswahlmatrix für Blackwell-Server
| Szenario | Sinnvolle Plattform | Begründung |
|---|---|---|
| Privater Assistent, RAG, 7B–70B-Modelle | 1–2 RTX PRO 6000 | Ausreichend Speicher und niedrigere Einstiegshürde |
| Mehrere unabhängige Dienste | 2–8 RTX PRO 6000 | GPUs werden auf Modelle und Warteschlangen verteilt |
| LoRA oder QLoRA | RTX PRO 6000 | HGX ist in der Regel nicht erforderlich |
| Ein großes Modell auf mehreren GPUs | B200 | Schneller Datenaustausch innerhalb von HGX |
| Inferenz eines großen LLM mit hohem Durchsatz | B200 | HBM3e, NVLink und hohe Dichte |
| Langer Kontext und großer KV-Cache | B300 | Bis zu 288 GB pro GPU |
| Reasoning-Modelle bei hoher Parallelität | B300 | Mehr Speicher und hohe Attention-Leistung |
| Bestehende Hopper-Infrastruktur | H100 oder H200 | Geringeres Migrationsrisiko und mögliche Einsparungen |
| Mehr als 80 GB werden benötigt, aber der B200 ist überdimensioniert | H200 | 141 GB HBM3e |
| Pilotprojekt ohne bestätigtes Lastprofil | RTX PRO 6000 oder Miete | Das Budget nicht in einem überdimensionierten System binden |
Vor der Auswahl einer Plattform sollte das Modell in demselben Format, derselben Engine und demselben Parallelisierungsmodus getestet werden, die später im Produktivbetrieb verwendet werden. Ein Test mit einer einzelnen kurzen Anfrage ersetzt keinen Lasttest: Erforderlich sind realistische Kontextlängen, Nutzerzahlen und zulässige Latenzgrenzen.
Für die meisten Unternehmen bleibt die RTX PRO 6000 der flexibelste Einstieg in Blackwell. Der B200 wird benötigt, wenn ein großes Modell auf schnellen Datenaustausch zwischen GPUs angewiesen ist. Der B300 ist gerechtfertigt, wenn das Projekt den zusätzlichen Speicher für lange Kontexte, einen großen KV-Cache und hohe Parallelität nutzt. H100 und H200 sollten im Vergleich bleiben, bis eine Gesamtkostenrechnung den Vorteil der neuen Generation belegt.
Die Spezifikationen und die Verfügbarkeit der Plattformen wurden mit Stand Juli 2026 geprüft. Die genaue Menge des nutzbaren Speichers, die unterstützten GPUs sowie die Anforderungen an Stromversorgung und Kühlung sollten anhand der Dokumentation des ausgewählten Servers bestätigt werden.
Inhaltsverzeichnis:
