NVIDIA DGX B300 vs. DGX GB300: Wann ist ein KI-Server ausreichend und wann wird eine Rack-Scale-Infrastruktur benötigt?

NVIDIA DGX B300 reicht in der Regel aus, wenn das Modell zusammen mit Kontext, KV-Cache und Arbeitsdaten in acht eng miteinander verbundene GPUs passt und das Unternehmen es für Inferenz, RAG, Fine-Tuning und interne KI-Dienste benötigt. DGX GB300 sollte in Betracht gezogen werden, wenn eine einzelne Workload Dutzende GPUs effizient nutzen muss, ein schneller Datenaustausch zwischen ihnen entscheidend ist und das System dauerhaft groß angelegte Inferenz-, Trainings- oder Post-Training-Aufgaben ausführen soll. Es handelt sich nicht um zwei Varianten desselben Servers: B300 ist ein eigenständiger 10U-Knoten, während GB300 ein flüssigkeitsgekühltes Rechen-Rack mit anderen Anforderungen an Netzwerk, Stromversorgung und Betrieb ist.

NVIDIA DGX servers

Zwei unterschiedliche Ebenen der KI-Infrastruktur

Ein Vergleich der Systeme allein anhand der Anzahl der Beschleuniger ist irreführend. DGX B300 verfügt über acht Blackwell-Ultra-GPUs, DGX GB300 über 72. Wichtiger als der neunfache Unterschied ist jedoch die Art, wie die GPUs miteinander verbunden sind.

Die Infrastruktur lässt sich auf drei Arten skalieren:

1. Ein KI-Server. Acht GPUs arbeiten innerhalb einer lokalen NVLink-Domäne.
2. Ein Server-Cluster. Mehrere B300-Systeme werden über InfiniBand oder Ethernet verbunden, doch jeder Knoten behält seine eigene Domäne mit acht GPUs.
3. Ein System auf Rack-Ebene. Im GB300 sind alle 72 GPUs über NVLink-Switching zu einem einheitlichen Rechenkomplex verbunden.

Die richtige Frage lautet daher nicht „Wie viele GPUs benötigt das Unternehmen?“, sondern „Wie viele eng miteinander verbundene GPUs benötigt eine einzelne Workload?“. Hundert Beschleuniger können ohne eine gemeinsame Domäne oder eine teure Rack-Scale-Plattform effizient mit unabhängigen Workloads ausgelastet werden. Umgekehrt kann eine einzige große verteilte Workload die Grenzen von acht GPUs überschreiten, selbst wenn die Zahl der Nutzer vergleichsweise gering ist.

Was NVIDIA DGX B300 ist

Offizielle Frontansicht des NVIDIA DGX B300 mit installierter Frontblende.

Bildquelle: NVIDIA DOCS

DGX B300 ist ein schlüsselfertiger KI-Server für Training, Fine-Tuning, Inferenz und analytische Workloads. Laut der offiziellen Spezifikation von NVIDIA enthält er acht Blackwell-Ultra-SXM-GPUs, zwei Intel-Xeon-6776P-Prozessoren, zwei NVLink-Switches und insgesamt 2,1 TiB GPU-Speicher. Außerdem stehen acht ConnectX-8-Schnittstellen mit bis zu 800 Gbit/s, zwei BlueField-3-DPUs, zwei NVMe-Laufwerke für das Boot-System und acht lokale NVMe-Laufwerke mit jeweils 3,84 TB zur Verfügung. Der Server belegt 10U und verbraucht im Betrieb etwa 14 kW.

In der Dokumentation werden sowohl 2,1 als auch 2,3 TB Speicher genannt. Beide Angaben beschreiben dieselbe Konfiguration: Acht Module mit jeweils 288 GB ergeben in dezimaler Schreibweise 2.304 GB, also ungefähr 2,3 TB beziehungsweise rund 2,1 TiB in binärer Schreibweise.

B300 nutzt die in Unternehmensinfrastrukturen vertraute x86-Architektur. Dies vereinfacht die Migration interner Anwendungen, Monitoring-Agenten und Container, die bereits auf Intel-Xeon-Servern ausgeführt werden. Die GPUs übernehmen die Hauptberechnungen, während die Prozessoren Datenvorbereitung, Netzwerk, Scheduling und Systemaufgaben bearbeiten.

Das System unterstützt Wechselstromversorgung sowie den Anschluss an eine Gleichstrom-Sammelschiene. Die Kühlung erfolgt mit Luft, die Anforderungen sind jedoch wesentlich höher als bei einem herkömmlichen Dual-Socket-Server: Der NVIDIA-Leitfaden nennt eine maximale Leistungsaufnahme von 14,5 kW, ein Gewicht von bis zu 168 kg und einen Luftdurchsatz von bis zu 1.500 Kubikfuß pro Minute.

Daher reichen 10U freier Platz in einem Standard-Rack allein nicht aus. Vor der Installation müssen die Kapazität der PDU, die Redundanz der Stromzuführungen, die Wärmeabfuhr, die zulässige Belastung und die Verfügbarkeit eines Hochgeschwindigkeitsnetzwerks geprüft werden.

Wie NVIDIA DGX GB300 aufgebaut ist

Offizieller Rack-Aufbau des DGX GB300 NVL72.

Quelle: NVIDIA DOCS

DGX GB300 ist ein einsatzbereites Rack-Scale-System auf Basis der GB300-NVL72-Architektur. Es kombiniert 72 Blackwell-Ultra-GPUs mit 36 Grace-Prozessoren auf Arm-Basis. Die GPU-Speicherkapazität erreicht 20 TB, während der gesamte schnelle Speicher einschließlich des Grace-Speichers 37 TB umfasst. Das Rechennetzwerk nutzt 72 ConnectX-8-Schnittstellen, während Speicher- und Infrastrukturfunktionen von 18 BlueField-3-DPUs übernommen werden.

Das Rack umfasst:

• 18 Recheneinschübe mit jeweils vier GPUs und zwei Grace-CPUs;
• neun NVLink-Switch-Einschübe;
• Stromversorgungseinschübe und eine Gleichstrom-Sammelschiene;
• Managementmodule;
• Kreisläufe für direkte Flüssigkeitskühlung;
• Leckagesensoren auf Modul- und Rack-Ebene.

NVLink verbindet alle 72 GPUs mit einer aggregierten Bandbreite von etwa 130 TB/s. Ein vollständiges Rack kann bis zu 142 kW verbrauchen. Die lokalen NVMe-Laufwerke in den Rechenmodulen sind vor allem für das Betriebssystem und einen schnellen Cache vorgesehen und ersetzen keinen gemeinsamen Datenspeicher.

Auch die CPU-Architektur unterscheidet sich: B300 verwendet Intel-Prozessoren auf x86-Basis, während GB300 Arm-basierte Grace-Prozessoren nutzt. Ein moderner containerisierter KI-Stack lässt sich in der Regel ohne grundlegende Neuentwicklung migrieren. Proprietäre Bibliotheken, Closed-Source-Agenten und Anwendungen, für die keine Builds für die andere Architektur verfügbar sind, müssen jedoch vor der Migration geprüft werden.

DGX B300 und DGX GB300: die wichtigsten Unterschiede

Spitzenwerte in Petaflops zeigen nicht, wie schnell ein bestimmtes Modell tatsächlich arbeitet. Die Leistung hängt vom Rechenformat, der Kontextlänge, der Batch-Größe der Anfragen, der Methode zur Aufteilung des Modells, der GPU-Auslastung, der Speichergeschwindigkeit und dem Zeitanteil für den Datenaustausch ab. Daher ergibt das Teilen der GB300-Leistung durch den B300-Wert keinen universellen Beschleunigungsfaktor.

Wann ein einzelner DGX B300 ausreicht

Das Modell passt in acht GPUs

Bei der Bewertung dürfen nicht nur die Modellgewichte berücksichtigt werden. Im Speicher müssen außerdem Platz finden:

• der KV-Cache für aktive Sequenzen;
• der Eingabekontext und der generierte Kontext;
• Arbeitsbuffer der Inferenz-Laufzeitumgebung;
• Aktivierungen, Gradienten und Optimiererzustände während des Trainings;
• eine Reserve für stabilen Betrieb ohne ständiges Auslagern von Daten.

Wenn der vollständige Arbeitssatz mit ausreichender Reserve in die 2,3 TB Speicher der acht GPUs passt, ist ein Wechsel zu NVL72 allein wegen des größeren Gesamtspeichers in der Regel nicht erforderlich. Zunächst sollten Quantisierung, Batching, KV-Cache-Einstellungen und die Softwareplattform geprüft werden.

Unternehmensinferenz und interne Dienste

Ein einzelner B300 kann folgende Aufgaben übernehmen:

• einen Assistenten für interne Dokumente;
• Codegenerierung und Codeprüfung;
• die Verarbeitung von Supportanfragen;
• die Zusammenfassung von Dokumenten;
• die Suche in einer Wissensdatenbank;
• spezialisierte Modelle für Bilder, Audio und Video.

Die Zahl der Nutzer allein sagt wenig über die tatsächliche Workload aus. Tausend Mitarbeiter mit kurzen Anfragen können eine geringere Last erzeugen als wenige Analysten, die mit langen Kontexten und Reasoning-Modellen arbeiten. Für die Kapazitätsplanung werden Anfragen pro Sekunde, die Menge der Eingabe- und Ausgabetoken, die erforderliche Latenz und das Profil der Lastspitzen benötigt.

Wenn eine einzelne Modellinstanz nicht genügend Durchsatz liefert, ist es häufig effizienter, einen zweiten B300 hinzuzufügen und eine weitere Replik zu starten. Das funktioniert, wenn die Anfragen unabhängig sind und von einem Load Balancer verteilt werden können.

RAG

RAG benötigt nur wegen eines großen Dokumentenarchivs nur selten 72 eng miteinander verbundene GPUs. Der Dienst umfasst Datenvorbereitung, die Erzeugung von Embeddings, Retrieval, Reranking, die Zusammenstellung des Kontexts und die Generierung der Antwort.

Der Engpass kann in der Vektordatenbank, der NVMe-Leistung, der Dokumentübertragung oder einer ungeeigneten Textsegmentierung liegen. GB300 beseitigt diese Einschränkungen nicht automatisch. Für Unternehmens-RAG ist es sinnvoller, Retrieval- und Generierungspipeline voneinander zu trennen und GPUs den Workloads zuzuweisen, die tatsächlich von mehr als reiner CPU-Verarbeitung profitieren.

Fine-Tuning und Workloads von ML-Teams

B300 eignet sich für LoRA, QLoRA, Adaptertraining, die Anpassung von Modellen an Unternehmensdaten und mehrere unabhängige Experimente. Vollständiges Fine-Tuning benötigt mehr Speicher, weil neben den Gewichten auch Gradienten, Aktivierungen und Optimiererzustände gespeichert werden. Ob GB300 erforderlich ist, hängt jedoch weiterhin von der Modellgröße und dem Verteilungsschema ab und nicht allein vom Begriff „Fine-Tuning“.

Eigenständige Server unterstützen außerdem ein schrittweises Wachstum. Ein Unternehmen kann mit einem B300 beginnen, einen zweiten für Redundanz oder ein weiteres Team ergänzen und anschließend einen Cluster mit gemeinsamem Netzwerk und Speicher aufbauen. Dadurch sinkt das Risiko, ein großes Rack zu kaufen, bevor eine dauerhaft hohe Workload vorhanden ist.

Wann DGX GB300 erforderlich ist

NVIDIA DGX servers

Eine Workload benötigt Dutzende verbundene GPUs

Das wichtigste Argument für GB300 ist der Bedarf an einem kontinuierlichen Datenaustausch zwischen den Teilen einer einzelnen Workload. Dies ist typisch für Tensor- und Pipeline-Parallelismus, verteiltes Training, große Mixture-of-Experts-Modelle und andere Verfahren, bei denen Berechnungen auf Dutzende GPUs verteilt werden.

In einem B300-Cluster erfolgt die Kommunikation innerhalb eines Servers über NVLink, während zwischen den Servern ein externes Netzwerk genutzt wird. Selbst schnelles InfiniBand und Ethernet weisen eine andere Topologie und andere Latenzeigenschaften auf. Je größer der Anteil kollektiver Operationen ist, desto stärker beeinflusst das Netzwerk die Ausführungszeit und desto wertvoller wird eine einheitliche Domäne mit 72 GPUs.

Groß angelegte Inferenz

Ein hohes Anfragevolumen erfordert nicht zwangsläufig GB300. Wenn das Modell in einen B300 passt, können unabhängige Anfragen auf mehrere Repliken auf getrennten Servern verteilt werden.

Ein NVL72-Rack ist eher gerechtfertigt, wenn mehrere Bedingungen gleichzeitig erfüllt sind:

• eine Modellinstanz benötigt mehr als acht GPUs;
• es wird ein sehr langer Kontext verwendet;
• der KV-Cache belegt einen erheblichen Teil des Speichers;
• Reasoning-Modelle erzeugen viele Zwischentoken;
• agentische Systeme führen lange Aufrufketten aus;
• bei strengen Latenzzielen ist ein hoher Durchsatz erforderlich;
• die Hardware wird rund um die Uhr mit hoher Auslastung betrieben.

In diesem Fall entsteht der Nutzen nicht nur durch die Rechenleistung, sondern auch durch die hohe GPU-Dichte, die Konnektivität innerhalb des Racks und die zentralisierte Verwaltung der Workloads.

Training und Post-Training

GB300 ist für lang laufende synchrone Workloads ausgelegt, bei denen Leerlaufzeiten von Dutzenden Beschleunigern besonders kostspielig sind:

• Training großer Basismodelle;
• vollständiges Fine-Tuning von Modellen mit sehr vielen Parametern;
• Reinforcement Learning;
• Erzeugung und Auswertung großer Mengen synthetischer Daten;
• Erhöhung des Test-Time Compute während der Inferenz;
• Pipelines, in denen mehrere Modelle Antworten erzeugen, prüfen und bewerten.

Wenn eine Workload Hunderte oder Tausende GPUs benötigt, ist ein einzelner GB300 nicht das endgültige System, sondern ein skalierbarer Infrastrukturbaustein mit gemeinsamem Netzwerk, Speicher und Management.

Wann eine KI-Fabrik tatsächlich benötigt wird

Eine KI-Fabrik ist eine kontinuierlich arbeitende Produktionsumgebung und nicht lediglich ein Raum mit vielen Beschleunigern. Kennzeichnend sind mehrere produktive Dienste, zentralisierte Warteschlangen und Kontingente, Workloads rund um die Uhr, Telemetrie von der GPU- bis zur Rack-Ebene, regelmäßige Modellaktualisierungen und Anforderungen an die Wiederherstellung nach Ausfällen.

Isolierte Experimente und mehrere interne Dienste machen GB300 allein noch nicht erforderlich. Das Rack ist dann gerechtfertigt, wenn eine solche Umgebung bereits geplant wurde und es dauerhaft mit produktiver Arbeit auslasten kann.

Warum neun DGX B300 nicht einem DGX GB300 entsprechen

Neun B300-Systeme und ein GB300 stellen jeweils 72 GPUs bereit. Auch ihre gesamte Speicherkapazität ist ähnlich: ungefähr 20,7 TB bei neun B300-Systemen gegenüber 20 TB beim GB300. Die neun Server bilden jedoch neun getrennte Domänen mit jeweils acht GPUs. Daten werden zwischen ihnen über Netzwerkadapter und externe Switches übertragen.

Im GB300 gehören alle 72 GPUs zu einem einzigen NVLink-System. Dadurch werden sie nicht zu einer einzelnen Super-GPU mit einem gemeinsamen physischen Speicherpool, doch es entsteht eine engere Verbindung für kollektive Operationen und die Komponenten eines verteilten Modells.

Mehrere B300-Systeme können vorzuziehen sein, wenn:

• die Modelle in acht GPUs passen;
• Teams und Workloads unabhängig voneinander sind;
• die Leistung durch das Starten zusätzlicher Repliken skaliert;
• die Beschaffung schrittweise erfolgt;
• einzelne Knoten gewartet werden müssen, ohne den gesamten Pool anzuhalten;
• die Isolation von Projekten wichtig ist.

GB300 ist im Vorteil, wenn eine einzelne Workload ständig die Grenzen eines Acht-GPU-Knotens überschreitet und die Kommunikation zwischen Servern die Effizienz verringert. Entscheidend ist nicht die Gesamtzahl der Beschleuniger, sondern die Topologie der Verbindungen.

Anforderungen an das Rechenzentrum

Die Entscheidung darf nicht allein dem ML-Team überlassen werden. Vor der Beschaffung müssen die Architekten des Rechenzentrums die Anforderungen an Stromversorgung, Kühlung, Gewicht, Netzwerk und Wartung bewerten.

Für DGX B300

Das System benötigt:

• 10U freien Rack-Platz;
• bis zu 14,5 kW Leistung pro Knoten;
• einen ausreichenden Luftdurchsatz;
• redundante Stromzuführungen;
• Hochgeschwindigkeitsports für Rechennetzwerk und Speicher;
• externen Speicher für Datensätze und Checkpoints.

Ein einzelner B300 kann die Leistungskapazität eines älteren Racks überschreiten. Vier Server belegen ein übliches 40U-Rack, ihre gemeinsame Leistungsaufnahme nähert sich jedoch 58 kW. Grenzen bei Stromversorgung und Wärmeabfuhr können daher lange erreicht sein, bevor der Rack-Platz ausgeht.

Für DGX GB300

Erforderlich ist ein Standort, der für flüssigkeitsgekühlte Systeme mit hoher Leistungsdichte ausgelegt ist. Er muss Folgendes unterstützen:

• Zu- und Rücklauf des Kühlmittels;
• eine Kühlmittelverteilungseinheit;
• Überwachung von Temperatur, Druck und Leckagen;
• Strominfrastruktur für bis zu 142 kW pro Rack;
• ein separates Managementnetzwerk;
• ein Rechennetzwerk zur Verbindung mehrerer Racks;
• ein Netzwerk für den Speicherzugriff;
• Wartung des Flüssigkeitskühlkreislaufs.

Ein herkömmliches kommerzielles Rechenzentrum kann leistungsstarke GPU-Server aufnehmen, aber möglicherweise weder diese Leistungsdichte noch direkte Flüssigkeitskühlung unterstützen. In diesem Fall bleiben ein spezialisierter Standort, die Infrastruktur eines Partners oder Cloud-Ressourcen.

Die lokalen NVMe-Laufwerke beider Systeme ersetzen keinen gemeinsamen Speicher für Datensätze, Checkpoints und das Modellregister. Dutzende teure GPUs bleiben ungenutzt, wenn die Daten nicht schnell genug bereitgestellt werden. Netzwerk und Speicher müssen daher zusammen mit der Rechenschicht geplant werden.

Wirtschaftlichkeit: Die Kosten produktiver Arbeit sind wichtiger als der Rack-Preis

Zu den Gesamtbetriebskosten gehören:

• Hardware, Netzwerk, Optik und Verkabelung;
• gemeinsam genutzter Speicher;
• Vorbereitung der Stromversorgung und Kühlung;
• Software und Support;
• Arbeitsaufwand des Infrastrukturteams;
• Leistungsreserven und Ersatzkomponenten;
• Anwendungsmigration und Kosten von Ausfallzeiten.

Sinnvoller ist es, die Kosten pro Million Token, die Trainingsdauer, Anfragen pro Watt, die Einhaltung der Ziellatenz und die durchschnittliche GPU-Auslastung zu vergleichen. Eine hohe Spitzenleistung ist unwirtschaftlich, wenn das System den größten Teil der Woche auf Arbeit wartet.

GB300 kann bei dauerhafter Auslastung und Workloads, die die Konnektivität von 72 GPUs nutzen, die Kosten pro Ergebniseinheit senken. Bei unregelmäßigen Experimenten reduzieren mehrere B300-Systeme oder eine Kombination aus lokalen Servern und Cloud-Ressourcen in der Regel das finanzielle Risiko.

Auch die Konzentration von Ressourcen muss berücksichtigt werden: Die Wartung eines einzelnen Racks betrifft eine große Rechenkapazität. Eine hohe Dichte erfordert deshalb Redundanz für Workloads, Daten und technische Versorgungssysteme.

Typische Auswahlszenarien

Alternativen zu einer schlüsselfertigen DGX-Plattform

DGX kombiniert Rechenleistung, Netzwerk, Systemsoftware und Support in einer validierten Plattform. Unternehmen können jedoch auch GPU-Server von OEM-Anbietern wählen und Prozessoren, Laufwerke, Netzwerk und Beschleuniger selbst festlegen.

In der aktuellen Generation sind beispielsweise Dell-PowerEdge-17G-Server erhältlich, darunter Modelle für Rechenumgebungen mit hoher Dichte. Außerdem stehen Konfigurationen auf Basis von AMD EPYC zur Verfügung, mit denen sich PCIe-Lanes, CPU-Kerne und Systemspeicher anders ausbalancieren lassen.

Dieser Ansatz bietet mehr Flexibilität und erleichtert schrittweise Upgrades. Der Kunde ist dann jedoch selbst für die PCIe- und NVLink-Topologie, GPU-Kompatibilität, Netzwerk-Fabric, Kühlung, den Software-Stack und die Fehlertoleranz verantwortlich.

Ein OEM-Server mit acht B300-GPUs kann hinsichtlich der Rechenressourcen einem DGX B300 ähneln, wird dadurch aber nicht automatisch bei Integration und Support gleichwertig. Eine Gruppe separater GPU-Server ersetzt ebenfalls keinen GB300, wenn die Workload eine einheitliche NVL72-Domäne benötigt.

So gelingt der Übergang von einem Server zu einem Rack

Der Übergang kann schrittweise erfolgen:

1. einen B300 für die ersten produktiven Modelle bereitstellen;
2. einen zweiten Knoten für Redundanz und parallele Workloads ergänzen;
3. einen Cluster mit gemeinsamem Netzwerk und Speicher aufbauen;
4. Daten zu GPU-Auslastung, Latenz und Kommunikation zwischen den Knoten erfassen;
5. Workloads identifizieren, die innerhalb der Grenzen von acht GPUs ineffizient laufen;
6. einen Standort mit geeigneter Stromversorgung und Flüssigkeitskühlung vorbereiten;
7. GB300 für die am engsten gekoppelten Workloads bereitstellen.

Eine gemischte Architektur ist häufig wirtschaftlicher als ein vollständiger Austausch. B300-Systeme können weiterhin kleinere Modelle, Entwicklung und unabhängige Inferenz übernehmen, während GB300 die Workloads erhält, bei denen seine Topologie einen messbaren Vorteil bietet.

Um die Migration zu vereinfachen, sollten Container, Modellformate, Checkpoint-Speicherung, Telemetrie und Ressourcenplanung im Voraus standardisiert werden. Workloads lassen sich dann zwischen eigenständigen Knoten und Racks verschieben, ohne eng an ein bestimmtes Bereitstellungsmodell gebunden zu sein.

Was sollte man wählen?

DGX B300 eignet sich für die meisten Unternehmen, die betriebliche KI-Dienste aufbauen, RAG entwickeln, anwendungsspezifisches Fine-Tuning durchführen und Modelle bereitstellen, die in acht GPUs passen. Mehrere B300-Systeme bleiben eine logische Wahl für unabhängige Teams und Anfragen, die auf Modellrepliken verteilt werden können.

DGX GB300 ist erforderlich, wenn die Größe der zusammenhängenden Rechendomäne zum begrenzenden Faktor wird. Muss ein Modell oder eine Trainings-Workload kontinuierlich Daten über Dutzende GPUs austauschen und ist das Rechenzentrum auf bis zu 142 kW Leistung sowie direkte Flüssigkeitskühlung vorbereitet, bietet NVL72 einen Vorteil, der sich nicht allein durch das Hinzufügen weiterer Server erreichen lässt.

Der Wechsel zu GB300 sollte durch Messwerte belegt werden: Speicherverbrauch, Kommunikationsanteil, Warteschlangenlänge, Ziellatenz, GPU-Auslastung und Kosten produktiver Arbeit. Solange solche Daten fehlen, bietet ein B300 oder ein Cluster aus mehreren Knoten in der Regel einen flexibleren und risikoärmeren Wachstumspfad.