Server NVIDIA DGX H100
- Condizione
- New
- Produttore
- NVIDIA
- Formato
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H100
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H100
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 80GB
- Total accelerator memory
- 640GB
- GPU memory type
- HBM3
- Accelerator memory bandwidth
- 3350GB/s (3.35TB/s) per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 10GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, multimodal AI, recommendation systems, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
Hai bisogno di una consulenza tecnica per scegliere un server?
Invia una richiestaNVIDIA DGX H100 è un sistema integrato di calcolo accelerato progettato per carichi di lavoro aziendali di intelligenza artificiale, machine learning, AI generativa, analisi dei dati e calcolo ad alte prestazioni (HPC). Basata su otto GPU NVIDIA H100 Tensor Core, la piattaforma offre un’architettura unificata per training AI, inferenza ed elaborazione dei dati su larga scala nei moderni data center.
A differenza di un server GPU tradizionale assemblato con componenti separati, NVIDIA DGX H100 combina accelerazione GPU, interconnessioni ad alta velocità, storage, networking e uno stack software NVIDIA validato in un’unica piattaforma pronta per l’uso enterprise. Può operare come nodo di calcolo AI autonomo o come elemento di base per cluster DGX scalabili.
Architettura GPU per training e inferenza AI
NVIDIA DGX H100 è dotato di otto GPU NVIDIA H100 Tensor Core basate sull’architettura NVIDIA Hopper. Il sistema offre 640GB di memoria GPU totale, fornendo alle aziende la capacità necessaria per grandi modelli AI, carichi di AI generativa, analisi accelerate e applicazioni HPC.
La GPU NVIDIA H100 Tensor Core è progettata per carichi AI impegnativi, tra cui training e fine-tuning di grandi modelli linguistici, inferenza, sistemi di raccomandazione, computer vision, analisi e calcolo scientifico. I Tensor Core con supporto al calcolo avanzato a precisione mista accelerano le operazioni delle reti neurali mantenendo l’accuratezza richiesta dai carichi di lavoro in produzione.
Le otto GPU sono collegate tramite NVIDIA NVLink di quarta generazione e quattro dispositivi NVIDIA NVSwitch di quarta generazione, creando una fabric di comunicazione GPU ad alta larghezza di banda. Questa architettura fornisce fino a 900GB/s di banda GPU-to-GPU e consente a più acceleratori di operare efficientemente come un unico dominio di calcolo per carichi distribuiti complessi.
Il sistema è alimentato da due processori Intel Xeon 8480C con 56 core ciascuno, per un totale di 112 core CPU. La configurazione di fabbrica include 2TB di memoria di sistema, abilitando preparazione dei dati, carichi containerizzati e attività di elaborazione lato CPU richieste dalle pipeline AI.
Principali casi d’uso
- Training e fine-tuning di modelli AI. DGX H100 accelera lo sviluppo e l’ottimizzazione di modelli AI su larga scala, tra cui AI generativa, elaborazione del linguaggio naturale, computer vision, sistemi di raccomandazione e applicazioni AI aziendali.
- Carichi di inferenza su larga scala. La piattaforma è progettata per il deployment di servizi AI in produzione, applicazioni intelligenti, sistemi decisionali automatizzati, chatbot ed esecuzione di modelli in tempo reale.
- Analisi dei dati e calcolo accelerato. DGX H100 supporta analisi accelerate da GPU, calcolo scientifico, simulazioni e carichi che combinano metodi HPC tradizionali con machine learning.
- Ambienti AI multiutente. La tecnologia NVIDIA Multi-Instance GPU (MIG) consente di suddividere ogni GPU H100 in un massimo di sette istanze GPU isolate con risorse dedicate di memoria e calcolo, migliorando l’utilizzo delle risorse per più team e applicazioni.
- Infrastruttura AI enterprise. DGX H100 offre una base standardizzata per organizzazioni che costruiscono piattaforme AI interne, ambienti di ricerca, operazioni di machine learning scalabili e infrastrutture private di AI generativa.
NVIDIA DGX H100 nell’infrastruttura enterprise
NVIDIA DGX H100 è pensato per organizzazioni che richiedono risorse di calcolo AI dedicate per sviluppo continuo, test e deployment in produzione. La piattaforma consente a team di data science, ingegneri AI e sviluppatori enterprise di lavorare in un ambiente hardware e software coerente, invece di gestire separatamente server accelerati e livelli di integrazione.
Il sistema può essere distribuito come singolo nodo AI o integrato in ambienti NVIDIA più ampi. Nella pianificazione di un deployment enterprise, le organizzazioni dovrebbero valutare non solo le prestazioni GPU, ma anche l’architettura di rete, i requisiti di storage esterno, la distribuzione dei carichi, la disponibilità elettrica, la capacità di raffreddamento e la predisposizione del data center.
Grazie al design hardware integrato, all’ecosistema software NVIDIA e al supporto per deployment AI scalabili, DGX H100 aiuta le aziende ad abbreviare il percorso dalla sperimentazione AI all’uso in produzione. La piattaforma offre una base affidabile per servizi di AI generativa, piattaforme di machine learning, soluzioni di analisi e applicazioni HPC che richiedono prestazioni prevedibili e gestione semplificata dell’infrastruttura.
garanzia
completi
Vogliamo assicurarci che le nostre apparecchiature siano completamente affidabili per voi. Ecco perché tutte le nostre apparecchiature (anche nuove) sono soggette a diagnostica completa, test e sostituzione dei componenti.
estremi
Carichiamo completamente le nostre apparecchiature con varie utility e software. State tranquilli, funzioneranno a lungo.
Alimentatore
I componenti funzionano a piena capacità e vengono testati per diversi giorni. Se non siamo sicuri di qualcosa, lo sostituiamo.
di tutte le apparecchiature
Le nostre normative prevedono gli stessi test sia per le apparecchiature usate che per quelle nuove. Ah, e a proposito, integriamo la garanzia ufficiale del produttore con la nostra garanzia.