Server NVIDIA DGX H100
- Zustand
- New
- Hersteller
- NVIDIA
- Bauform
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H100
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H100
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 80GB
- Total accelerator memory
- 640GB
- GPU memory type
- HBM3
- Accelerator memory bandwidth
- 3350GB/s (3.35TB/s) per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 10GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, multimodal AI, recommendation systems, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
Benötigen Sie eine technische Beratung zur Serverauswahl?
Anfrage einreichenNVIDIA DGX H100 ist ein integriertes System für beschleunigtes Computing, das für Enterprise-KI, maschinelles Lernen, generative KI, Analytik und High-Performance Computing (HPC) entwickelt wurde. Auf Basis von acht NVIDIA H100 Tensor Core GPUs bietet die Plattform eine einheitliche Architektur für KI-Training, Inferenz und groß angelegte Datenverarbeitung in modernen Rechenzentren.
Im Unterschied zu einem klassischen GPU-Server, der aus einzelnen Komponenten zusammengesetzt wird, kombiniert NVIDIA DGX H100 GPU-Beschleunigung, schnelle Interconnects, Storage, Netzwerkfunktionen und einen validierten NVIDIA Software-Stack in einer unternehmensfähigen Plattform. Das System kann als eigenständiger KI-Rechenknoten eingesetzt werden oder als Baustein für skalierbare DGX-Cluster dienen.
GPU-Architektur für KI-Training und Inferenz
NVIDIA DGX H100 ist mit acht NVIDIA H100 Tensor Core GPUs auf Basis der NVIDIA Hopper Architektur ausgestattet. Das System bietet insgesamt 640GB GPU-Speicher und stellt damit die Kapazität bereit, die Unternehmen für große KI-Modelle, generative KI-Workloads, beschleunigte Analytik und HPC-Anwendungen benötigen.
Die NVIDIA H100 Tensor Core GPU ist für anspruchsvolle KI-Workloads ausgelegt, darunter Training und Fine-Tuning großer Sprachmodelle, Inferenz, Empfehlungssysteme, Computer Vision, Analytik und wissenschaftliches Rechnen. Tensor Cores mit Unterstützung für fortgeschrittenes Mixed-Precision-Computing beschleunigen neuronale Netzwerkoperationen und erhalten zugleich die für Produktionsumgebungen erforderliche Genauigkeit.
Die acht GPUs sind über NVIDIA NVLink der vierten Generation und vier NVIDIA NVSwitch-Komponenten der vierten Generation verbunden. Dadurch entsteht ein GPU-Kommunikationsverbund mit hoher Bandbreite. Diese Architektur bietet bis zu 900GB/s GPU-zu-GPU-Bandbreite und ermöglicht es mehreren Beschleunigern, effizient als eine gemeinsame Rechendomäne für anspruchsvolle verteilte Workloads zu arbeiten.
Das System wird von zwei Intel Xeon 8480C Prozessoren mit jeweils 56 Kernen angetrieben und stellt insgesamt 112 CPU-Kerne bereit. Die Werkskonfiguration umfasst 2TB Systemspeicher und unterstützt damit effiziente Datenvorbereitung, containerisierte Workloads und CPU-seitige Verarbeitungsschritte in KI-Pipelines.
Wichtigste Einsatzbereiche
- Training und Fine-Tuning von KI-Modellen. DGX H100 beschleunigt die Entwicklung und Optimierung großer KI-Modelle, darunter generative KI, Natural Language Processing, Computer Vision, Empfehlungssysteme und unternehmensspezifische KI-Anwendungen.
- Inferenz-Workloads in großem Maßstab. Die Plattform ist für den Betrieb produktiver KI-Services, intelligenter Anwendungen, automatisierter Entscheidungssysteme, Chatbots und Echtzeit-Modellausführung ausgelegt.
- Datenanalytik und beschleunigtes Computing. DGX H100 unterstützt GPU-beschleunigte Analytik, wissenschaftliches Rechnen, Simulationen und Workloads, die klassische HPC-Methoden mit maschinellem Lernen kombinieren.
- Mehrbenutzer-KI-Umgebungen. NVIDIA Multi-Instance GPU (MIG) ermöglicht es, jede H100 GPU in bis zu sieben isolierte GPU-Instanzen mit dedizierten Speicher- und Rechenressourcen aufzuteilen, wodurch die Ressourcenauslastung für mehrere Teams und Anwendungen verbessert wird.
- Enterprise-KI-Infrastruktur. DGX H100 bietet eine standardisierte Grundlage für Unternehmen, die interne KI-Plattformen, Forschungsumgebungen, skalierbare Machine-Learning-Prozesse und private generative KI-Infrastrukturen aufbauen.
NVIDIA DGX H100 in der Unternehmensinfrastruktur
NVIDIA DGX H100 ist für Organisationen konzipiert, die dedizierte KI-Rechenressourcen für kontinuierliche Entwicklung, Tests und Produktionsbereitstellung benötigen. Die Plattform ermöglicht Data-Science-Teams, KI-Ingenieuren und Enterprise-Entwicklern eine konsistente Hardware- und Softwareumgebung, ohne separate Beschleunigerserver und Integrationsschichten verwalten zu müssen.
Das System kann als einzelner KI-Knoten oder als Teil größerer NVIDIA-basierter Umgebungen eingesetzt werden. Bei der Planung einer Enterprise-Bereitstellung sollten Unternehmen neben der GPU-Leistung auch Netzwerkarchitektur, externe Storage-Anforderungen, Workload-Verteilung, verfügbare Stromversorgung, Kühlkapazität und Rechenzentrumsbereitschaft berücksichtigen.
Mit seinem integrierten Hardwaredesign, dem NVIDIA Software-Ökosystem und der Unterstützung skalierbarer KI-Bereitstellungen hilft DGX H100 Unternehmen, den Weg vom KI-Experiment zur produktiven Nutzung zu verkürzen. Die Plattform bietet eine zuverlässige Grundlage für generative KI-Services, Machine-Learning-Plattformen, Analyselösungen und HPC-Anwendungen, die berechenbare Leistung und vereinfachtes Infrastrukturmanagement erfordern.
einen Server bei Servermall zu kaufen
Garantie
Wir möchten sicherstellen, dass unsere Geräte für Sie absolut zuverlässig sind. Deshalb werden alle unsere Geräte (auch neue) umfassend diagnostiziert, getestet und Teile ausgetauscht.
Tests
Wir statten unsere Geräte mit verschiedenen Dienstprogrammen und Software aus. Sie werden garantiert lange funktionieren.
Stromversorgung
Die Komponenten arbeiten mit voller Leistung und werden mehrere Tage lang getestet. Bei Zweifeln tauschen wir sie aus.
aller Geräte
Unsere Vorschriften sehen die gleichen Prüfungen für gebrauchte und neue Geräte vor. Übrigens: Wir ergänzen die offizielle Herstellergarantie durch unsere eigene Garantie.