Serveur NVIDIA DGX H100
- État
- New
- Fabricant
- NVIDIA
- Format
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H100
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H100
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 80GB
- Total accelerator memory
- 640GB
- GPU memory type
- HBM3
- Accelerator memory bandwidth
- 3350GB/s (3.35TB/s) per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 10GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, multimodal AI, recommendation systems, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
Besoin d’un conseil technique pour choisir un serveur ?
Soumettre une demandeNVIDIA DGX H100 est un système intégré de calcul accéléré conçu pour les charges de travail d’intelligence artificielle d’entreprise, d’apprentissage automatique, d’IA générative, d’analytique et de calcul haute performance (HPC). Construite autour de huit GPU NVIDIA H100 Tensor Core, la plateforme fournit une architecture unifiée pour l’entraînement de l’IA, l’inférence et le traitement de données à grande échelle dans les centres de données modernes.
Contrairement à un serveur GPU traditionnel assemblé à partir de composants séparés, NVIDIA DGX H100 réunit l’accélération GPU, les interconnexions haut débit, le stockage, la mise en réseau et une pile logicielle NVIDIA validée dans une plateforme unique prête pour l’entreprise. Elle peut fonctionner comme un nœud de calcul IA autonome ou servir de brique de base pour des clusters DGX évolutifs.
Architecture GPU pour l’entraînement et l’inférence IA
NVIDIA DGX H100 est équipée de huit GPU NVIDIA H100 Tensor Core basés sur l’architecture NVIDIA Hopper. Le système fournit 640GB de mémoire GPU totale, offrant aux entreprises la capacité nécessaire pour les grands modèles IA, les charges d’IA générative, l’analytique accélérée et les applications HPC.
Le GPU NVIDIA H100 Tensor Core est conçu pour les charges IA exigeantes, notamment l’entraînement et le fine-tuning de grands modèles de langage, l’inférence, les systèmes de recommandation, la vision par ordinateur, l’analytique et le calcul scientifique. Les Tensor Cores avec prise en charge du calcul avancé en précision mixte accélèrent les opérations de réseaux neuronaux tout en maintenant la précision requise pour les charges de production.
Les huit GPU sont reliés par NVIDIA NVLink de quatrième génération et quatre dispositifs NVIDIA NVSwitch de quatrième génération, créant une fabric de communication GPU à haut débit. Cette architecture fournit jusqu’à 900GB/s de bande passante GPU à GPU et permet à plusieurs accélérateurs de fonctionner efficacement comme un domaine de calcul unique pour les charges distribuées exigeantes.
Le système est propulsé par deux processeurs Intel Xeon 8480C de 56 cœurs chacun, soit 112 cœurs CPU au total. La configuration d’usine comprend 2TB de mémoire système, ce qui facilite la préparation des données, les charges conteneurisées et les traitements côté CPU nécessaires aux pipelines IA.
Principaux cas d’utilisation
- Entraînement et fine-tuning de modèles IA. DGX H100 accélère le développement et l’optimisation de modèles IA à grande échelle, notamment l’IA générative, le traitement du langage naturel, la vision par ordinateur, les systèmes de recommandation et les applications IA d’entreprise.
- Charges d’inférence à grande échelle. La plateforme est conçue pour déployer des services IA en production, des applications intelligentes, des systèmes de décision automatisée, des chatbots et l’exécution de modèles en temps réel.
- Analytique des données et calcul accéléré. DGX H100 prend en charge l’analytique accélérée par GPU, le calcul scientifique, les simulations et les charges combinant des méthodes HPC traditionnelles avec l’apprentissage automatique.
- Environnements IA multi-utilisateurs. La technologie NVIDIA Multi-Instance GPU (MIG) permet de partitionner chaque GPU H100 en jusqu’à sept instances GPU isolées avec des ressources mémoire et de calcul dédiées, améliorant l’utilisation des ressources pour plusieurs équipes et applications.
- Infrastructure IA d’entreprise. DGX H100 fournit une base standardisée aux organisations qui construisent des plateformes IA internes, des environnements de recherche, des opérations de machine learning évolutives et une infrastructure privée d’IA générative.
NVIDIA DGX H100 dans l’infrastructure d’entreprise
NVIDIA DGX H100 est destinée aux organisations qui ont besoin de ressources de calcul IA dédiées pour le développement continu, les tests et le déploiement en production. La plateforme permet aux équipes data science, aux ingénieurs IA et aux développeurs d’entreprise de travailler dans un environnement matériel et logiciel cohérent, sans gérer séparément des serveurs accélérés et des couches d’intégration.
Le système peut être déployé comme nœud IA individuel ou intégré dans des environnements NVIDIA plus larges. Lors de la planification d’un déploiement d’entreprise, les organisations doivent évaluer non seulement les performances GPU, mais aussi l’architecture réseau, les besoins en stockage externe, la répartition des charges, la disponibilité électrique, la capacité de refroidissement et la préparation du centre de données.
Grâce à son design matériel intégré, à l’écosystème logiciel NVIDIA et à la prise en charge de déploiements IA évolutifs, DGX H100 aide les entreprises à raccourcir le passage de l’expérimentation IA à l’usage en production. La plateforme offre une base fiable pour les services d’IA générative, les plateformes de machine learning, les solutions analytiques et les applications HPC qui exigent des performances prévisibles et une gestion d’infrastructure simplifiée.
d'acheter un serveur
chez Servermall
Nous tenons à vous garantir une fiabilité totale de nos équipements. C'est pourquoi tous nos équipements (même neufs) sont soumis à des diagnostics, des tests et des remplacements de pièces complets.
Nous équipons nos équipements de divers utilitaires et logiciels. Soyez assuré qu'ils fonctionneront très longtemps.
Alimentation
Les composants fonctionnent à pleine capacité et sont testés pendant plusieurs jours. En cas de doute, nous les remplaçons.
de tous les équipements
Nos réglementations imposent les mêmes tests pour les équipements neufs et d'occasion. Au fait, nous complétons la garantie officielle du fabricant par notre propre garantie.