Server NVIDIA DGX H200
- Condizione
- New
- Produttore
- NVIDIA
- Formato
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H200
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H200
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 141GB
- Total accelerator memory
- 1128GB
- GPU memory type
- HBM3e
- Accelerator memory bandwidth
- 4.8TB/s per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 18GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, retrieval-augmented generation, multimodal AI, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
Hai bisogno di una consulenza tecnica per scegliere un server?
Invia una richiestaNVIDIA DGX H200 è un sistema integrato di calcolo accelerato progettato per carichi di lavoro enterprise di intelligenza artificiale, machine learning, IA generativa, analytics e high-performance computing (HPC). Basata su otto GPU NVIDIA H200 Tensor Core, la piattaforma offre un’architettura unificata per training AI, inferenza e trattamento dei dati su larga scala nei moderni data center.
A differenza di un server GPU tradizionale assemblato con componenti separati, NVIDIA DGX H200 combina accelerazione GPU, interconnessioni ad alta velocità, storage, networking e uno stack software NVIDIA validato in un’unica piattaforma pronta per l’azienda. Può operare come nodo di calcolo AI autonomo o come elemento di base per cluster DGX scalabili.
Architettura GPU per training e inferenza AI
NVIDIA DGX H200 è dotato di otto GPU NVIDIA H200 Tensor Core basate sull’architettura NVIDIA Hopper. Il sistema offre 1.128 GB di memoria GPU totale, fornendo alle aziende la capacità richiesta per grandi modelli linguistici, applicazioni di IA generativa, analytics accelerati e carichi HPC.
La GPU NVIDIA H200 Tensor Core è progettata per carichi di lavoro AI impegnativi, inclusi training di grandi modelli linguistici, fine-tuning, inferenza, sistemi di raccomandazione, computer vision, analytics e calcolo scientifico. I Tensor Core con supporto al calcolo a precisione mista contribuiscono ad accelerare le operazioni delle reti neurali mantenendo l’accuratezza richiesta dai workload di produzione.
Le otto GPU sono collegate tramite NVIDIA NVLink di quarta generazione e quattro dispositivi NVIDIA NVSwitch, creando una fabric di comunicazione GPU ad alta larghezza di banda. Questa architettura offre 900 GB/s di larghezza di banda GPU-to-GPU e consente a più acceleratori di operare in modo efficiente come un unico dominio di calcolo per carichi distribuiti impegnativi.
Il sistema è alimentato da due processori Intel Xeon 8480C PCIe Gen5 con 56 core ciascuno, per un totale di 112 core CPU. La configurazione di fabbrica include 2 TB di memoria di sistema, consentendo un’efficiente preparazione dei dati, workload containerizzati ed elaborazioni lato CPU richieste dalle pipeline AI.
Principali casi d’uso
- Training e fine-tuning di modelli AI. DGX H200 accelera lo sviluppo e l’ottimizzazione di modelli AI su larga scala, inclusi IA generativa, elaborazione del linguaggio naturale, computer vision, sistemi di raccomandazione e applicazioni AI enterprise.
- Carichi di inferenza su larga scala. La piattaforma è progettata per distribuire servizi AI in produzione, applicazioni intelligenti, sistemi decisionali automatizzati, chatbot ed esecuzione di modelli in tempo reale.
- Data analytics e calcolo accelerato. DGX H200 supporta analytics accelerati da GPU, calcolo scientifico, simulazioni e workload che combinano metodi HPC tradizionali con il machine learning.
- Ambienti AI multiutente. La tecnologia NVIDIA Multi-Instance GPU (MIG) consente la partizione GPU supportata in istanze isolate con risorse dedicate di calcolo e memoria, migliorando l’utilizzo delle risorse per più team e applicazioni.
- Infrastruttura AI enterprise. DGX H200 fornisce una base standardizzata per organizzazioni che realizzano piattaforme AI interne, ambienti di ricerca, operazioni di machine learning scalabili e infrastrutture private per IA generativa.
NVIDIA DGX H200 nell’infrastruttura aziendale
NVIDIA DGX H200 è progettato per organizzazioni che richiedono risorse di calcolo AI dedicate per sviluppo continuo, test e distribuzione in produzione. La piattaforma consente a team di data science, ingegneri AI e sviluppatori enterprise di lavorare in un ambiente hardware e software coerente invece di gestire server accelerati e livelli di integrazione separati.
Il sistema può essere implementato come singolo nodo AI o integrato in ambienti NVIDIA più ampi. Nella pianificazione di un deployment enterprise, le organizzazioni dovrebbero valutare non solo le prestazioni GPU, ma anche architettura di rete, requisiti di storage esterno, distribuzione dei workload, disponibilità di alimentazione, capacità di raffreddamento e predisposizione del data center.
Grazie al design hardware integrato, all’ecosistema software NVIDIA e al supporto per deployment AI scalabili, DGX H200 aiuta le aziende a ridurre il percorso dalla sperimentazione AI all’uso in produzione. La piattaforma offre una base affidabile per servizi di IA generativa, piattaforme di machine learning, soluzioni analytics e applicazioni HPC che richiedono prestazioni prevedibili e gestione semplificata dell’infrastruttura.
garanzia
completi
Vogliamo assicurarci che le nostre apparecchiature siano completamente affidabili per voi. Ecco perché tutte le nostre apparecchiature (anche nuove) sono soggette a diagnostica completa, test e sostituzione dei componenti.
estremi
Carichiamo completamente le nostre apparecchiature con varie utility e software. State tranquilli, funzioneranno a lungo.
Alimentatore
I componenti funzionano a piena capacità e vengono testati per diversi giorni. Se non siamo sicuri di qualcosa, lo sostituiamo.
di tutte le apparecchiature
Le nostre normative prevedono gli stessi test sia per le apparecchiature usate che per quelle nuove. Ah, e a proposito, integriamo la garanzia ufficiale del produttore con la nostra garanzia.