Server NVIDIA DGX H200
- Zustand
- New
- Hersteller
- NVIDIA
- Bauform
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H200
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H200
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 141GB
- Total accelerator memory
- 1128GB
- GPU memory type
- HBM3e
- Accelerator memory bandwidth
- 4.8TB/s per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 18GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, retrieval-augmented generation, multimodal AI, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
Benötigen Sie eine technische Beratung zur Serverauswahl?
Anfrage einreichenNVIDIA DGX H200 ist ein integriertes System für beschleunigtes Computing, das für Enterprise-KI, maschinelles Lernen, generative KI, Analytik und High Performance Computing (HPC) entwickelt wurde. Auf Basis von acht NVIDIA H200 Tensor Core GPUs bietet die Plattform eine einheitliche Architektur für KI-Training, Inferenz und groß angelegte Datenverarbeitung in modernen Rechenzentren.
Im Unterschied zu einem herkömmlichen GPU-Server, der aus einzelnen Komponenten zusammengestellt wird, kombiniert NVIDIA DGX H200 GPU-Beschleunigung, Hochgeschwindigkeits-Interconnects, Storage, Netzwerkfunktionen und einen validierten NVIDIA-Software-Stack in einer unternehmensgerechten Plattform. Das System kann als eigenständiger KI-Rechenknoten betrieben oder als Baustein für skalierbare DGX-basierte Cluster eingesetzt werden.
GPU-Architektur für KI-Training und Inferenz
NVIDIA DGX H200 ist mit acht NVIDIA H200 Tensor Core GPUs auf Basis der NVIDIA Hopper-Architektur ausgestattet. Das System bietet insgesamt 1.128 GB GPU-Speicher und stellt Unternehmen die Kapazität bereit, die für große Sprachmodelle, generative KI-Anwendungen, beschleunigte Analytik und HPC-Workloads erforderlich ist.
Die NVIDIA H200 Tensor Core GPU ist für anspruchsvolle KI-Workloads ausgelegt, darunter Training großer Sprachmodelle, Fine-Tuning, Inferenz, Empfehlungssysteme, Computer Vision, Analytik und wissenschaftliches Rechnen. Tensor Cores mit Unterstützung für Berechnungen mit gemischter Genauigkeit beschleunigen neuronale Netzwerkoperationen und erhalten gleichzeitig die für produktive Workloads erforderliche Genauigkeit.
Die acht GPUs sind über NVIDIA NVLink der vierten Generation und vier NVIDIA NVSwitch-Geräte verbunden, wodurch ein GPU-Kommunikationsnetzwerk mit hoher Bandbreite entsteht. Diese Architektur bietet 900 GB/s GPU-zu-GPU-Bandbreite und ermöglicht es mehreren Beschleunigern, bei anspruchsvollen verteilten Workloads effizient als eine gemeinsame Computing-Domäne zu arbeiten.
Das System wird von zwei Intel Xeon 8480C PCIe Gen5 Prozessoren mit jeweils 56 Kernen angetrieben und stellt insgesamt 112 CPU-Kerne bereit. Die Werkskonfiguration umfasst 2 TB Systemspeicher, sodass Datenvorbereitung, containerisierte Workloads und CPU-seitige Verarbeitungsschritte in KI-Pipelines effizient ausgeführt werden können.
Wichtige Einsatzbereiche
- Training und Fine-Tuning von KI-Modellen. DGX H200 beschleunigt die Entwicklung und Optimierung großer KI-Modelle, darunter generative KI, Natural Language Processing, Computer Vision, Empfehlungssysteme und Enterprise-KI-Anwendungen.
- Groß angelegte Inferenz-Workloads. Die Plattform ist für die Bereitstellung produktiver KI-Dienste, intelligenter Anwendungen, automatisierter Entscheidungssysteme, Chatbots und Echtzeit-Modellausführung ausgelegt.
- Datenanalyse und beschleunigtes Computing. DGX H200 unterstützt GPU-beschleunigte Analytik, wissenschaftliches Rechnen, Simulationen und Workloads, die klassische HPC-Methoden mit maschinellem Lernen kombinieren.
- Multi-User-KI-Umgebungen. NVIDIA Multi-Instance GPU (MIG) ermöglicht unterstützte GPU-Partitionierung in isolierte Instanzen mit dedizierten Compute- und Speicherressourcen und verbessert so die Ressourcenauslastung für mehrere Teams und Anwendungen.
- Enterprise-KI-Infrastruktur. DGX H200 bietet eine standardisierte Grundlage für Unternehmen, die interne KI-Plattformen, Forschungsumgebungen, skalierbare Machine-Learning-Operations und private Infrastrukturen für generative KI aufbauen.
NVIDIA DGX H200 in der Unternehmensinfrastruktur
NVIDIA DGX H200 ist für Organisationen konzipiert, die dedizierte KI-Rechenressourcen für kontinuierliche Entwicklung, Tests und produktive Bereitstellung benötigen. Die Plattform ermöglicht Data-Science-Teams, KI-Ingenieuren und Enterprise-Entwicklern das Arbeiten in einer konsistenten Hardware- und Softwareumgebung, ohne separate Beschleuniger-Server und Integrationsschichten verwalten zu müssen.
Das System kann als einzelner KI-Knoten bereitgestellt oder in größere NVIDIA-basierte Umgebungen integriert werden. Bei der Planung einer Enterprise-Bereitstellung sollten Unternehmen nicht nur die GPU-Leistung, sondern auch Netzwerkarchitektur, externe Speicheranforderungen, Workload-Verteilung, Stromversorgung, Kühlkapazität und Rechenzentrumsbereitschaft bewerten.
Mit integriertem Hardwaredesign, NVIDIA-Softwareökosystem und Unterstützung für skalierbare KI-Bereitstellungen hilft DGX H200 Unternehmen, den Weg vom KI-Experiment zur produktiven Nutzung zu verkürzen. Die Plattform bietet eine verlässliche Grundlage für generative KI-Dienste, Machine-Learning-Plattformen, Analytiklösungen und HPC-Anwendungen, die vorhersehbare Leistung und vereinfachtes Infrastrukturmanagement erfordern.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.