Serveur NVIDIA DGX H200
- État
- New
- Fabricant
- NVIDIA
- Format
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H200
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H200
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 141GB
- Total accelerator memory
- 1128GB
- GPU memory type
- HBM3e
- Accelerator memory bandwidth
- 4.8TB/s per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 18GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, retrieval-augmented generation, multimodal AI, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
Besoin d’un conseil technique pour choisir un serveur ?
Soumettre une demandeNVIDIA DGX H200 est un système intégré de calcul accéléré conçu pour les charges de travail d’intelligence artificielle d’entreprise, d’apprentissage automatique, d’IA générative, d’analytique et de calcul haute performance (HPC). Basée sur huit GPU NVIDIA H200 Tensor Core, la plateforme fournit une architecture unifiée pour l’entraînement IA, l’inférence et le traitement de données à grande échelle dans les centres de données modernes.
Contrairement à un serveur GPU traditionnel assemblé à partir de composants distincts, NVIDIA DGX H200 combine accélération GPU, interconnexions à haut débit, stockage, réseau et pile logicielle NVIDIA validée dans une plateforme unique prête pour l’entreprise. Il peut fonctionner comme nœud de calcul IA autonome ou servir de brique de base pour des clusters DGX évolutifs.
Architecture GPU pour l’entraînement et l’inférence IA
NVIDIA DGX H200 est équipé de huit GPU NVIDIA H200 Tensor Core basés sur l’architecture NVIDIA Hopper. Le système fournit 1 128 Go de mémoire GPU totale, offrant aux entreprises la capacité requise pour les grands modèles de langage, les applications d’IA générative, l’analytique accélérée et les charges HPC.
Le GPU NVIDIA H200 Tensor Core est conçu pour les charges de travail IA exigeantes, notamment l’entraînement de grands modèles de langage, l’affinage, l’inférence, les systèmes de recommandation, la vision par ordinateur, l’analytique et le calcul scientifique. Les Tensor Cores avec prise en charge du calcul en précision mixte contribuent à accélérer les opérations des réseaux neuronaux tout en conservant la précision requise pour les charges de production.
Les huit GPU sont reliés par NVIDIA NVLink de quatrième génération et quatre dispositifs NVIDIA NVSwitch, créant une trame de communication GPU à haut débit. Cette architecture fournit 900 Go/s de bande passante GPU à GPU et permet à plusieurs accélérateurs de fonctionner efficacement comme un seul domaine de calcul pour les charges distribuées exigeantes.
Le système est alimenté par deux processeurs Intel Xeon 8480C PCIe Gen5 de 56 cœurs chacun, soit 112 cœurs CPU au total. La configuration d’usine comprend 2 To de mémoire système, ce qui permet une préparation efficace des données, des charges conteneurisées et les traitements côté CPU nécessaires aux pipelines IA.
Principaux cas d’usage
- Entraînement et affinage de modèles IA. DGX H200 accélère le développement et l’optimisation de modèles IA à grande échelle, notamment l’IA générative, le traitement du langage naturel, la vision par ordinateur, les systèmes de recommandation et les applications IA d’entreprise.
- Charges d’inférence à grande échelle. La plateforme est conçue pour déployer des services IA en production, des applications intelligentes, des systèmes de décision automatisés, des chatbots et l’exécution de modèles en temps réel.
- Analytique de données et calcul accéléré. DGX H200 prend en charge l’analytique accélérée par GPU, le calcul scientifique, les simulations et les charges associant méthodes HPC traditionnelles et apprentissage automatique.
- Environnements IA multi-utilisateurs. La technologie NVIDIA Multi-Instance GPU (MIG) permet une partition GPU prise en charge en instances isolées avec ressources de calcul et mémoire dédiées, améliorant l’utilisation des ressources pour plusieurs équipes et applications.
- Infrastructure IA d’entreprise. DGX H200 fournit une base standardisée pour les organisations qui créent des plateformes IA internes, des environnements de recherche, des opérations de machine learning évolutives et une infrastructure privée d’IA générative.
NVIDIA DGX H200 dans l’infrastructure d’entreprise
NVIDIA DGX H200 est conçu pour les organisations qui ont besoin de ressources de calcul IA dédiées pour le développement continu, les tests et le déploiement en production. La plateforme permet aux équipes de data science, aux ingénieurs IA et aux développeurs d’entreprise de travailler dans un environnement matériel et logiciel cohérent au lieu de gérer des serveurs accélérés et des couches d’intégration séparés.
Le système peut être déployé comme nœud IA individuel ou intégré dans des environnements NVIDIA plus larges. Lors de la planification d’un déploiement d’entreprise, les organisations doivent évaluer non seulement les performances GPU, mais aussi l’architecture réseau, les besoins de stockage externe, la répartition des charges, la disponibilité électrique, la capacité de refroidissement et l’état de préparation du centre de données.
Grâce à sa conception matérielle intégrée, à l’écosystème logiciel NVIDIA et à la prise en charge de déploiements IA évolutifs, DGX H200 aide les entreprises à raccourcir le chemin entre l’expérimentation IA et l’utilisation en production. La plateforme constitue une base fiable pour les services d’IA générative, les plateformes de machine learning, les solutions analytiques et les applications HPC nécessitant des performances prévisibles et une gestion simplifiée de l’infrastructure.
d'acheter un serveur
chez Servermall
Nous tenons à vous garantir une fiabilité totale de nos équipements. C'est pourquoi tous nos équipements (même neufs) sont soumis à des diagnostics, des tests et des remplacements de pièces complets.
Nous équipons nos équipements de divers utilitaires et logiciels. Soyez assuré qu'ils fonctionneront très longtemps.
Alimentation
Les composants fonctionnent à pleine capacité et sont testés pendant plusieurs jours. En cas de doute, nous les remplaçons.
de tous les équipements
Nos réglementations imposent les mêmes tests pour les équipements neufs et d'occasion. Au fait, nous complétons la garantie officielle du fabricant par notre propre garantie.