Servidor NVIDIA DGX H200
- Estado
- New
- Fabricante
- NVIDIA
- Formato
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H200
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H200
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 141GB
- Total accelerator memory
- 1128GB
- GPU memory type
- HBM3e
- Accelerator memory bandwidth
- 4.8TB/s per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 18GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, retrieval-augmented generation, multimodal AI, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
¿Necesita una consulta técnica para elegir un servidor?
Enviar una solicitudNVIDIA DGX H200 es un sistema integrado de computación acelerada diseñado para cargas de trabajo empresariales de inteligencia artificial, aprendizaje automático, IA generativa, analítica y computación de alto rendimiento (HPC). Basada en ocho GPU NVIDIA H200 Tensor Core, la plataforma proporciona una arquitectura unificada para entrenamiento de IA, inferencia y procesamiento de datos a gran escala en centros de datos modernos.
A diferencia de un servidor GPU tradicional ensamblado a partir de componentes individuales, NVIDIA DGX H200 combina aceleración GPU, interconexiones de alta velocidad, almacenamiento, red y una pila de software NVIDIA validada en una única plataforma preparada para entornos empresariales. Puede funcionar como nodo independiente de cómputo de IA o como bloque de construcción para clústeres DGX escalables.
Arquitectura GPU para entrenamiento e inferencia de IA
NVIDIA DGX H200 está equipado con ocho GPU NVIDIA H200 Tensor Core basadas en la arquitectura NVIDIA Hopper. El sistema ofrece 1.128 GB de memoria GPU total, proporcionando a las empresas la capacidad necesaria para grandes modelos de lenguaje, aplicaciones de IA generativa, analítica acelerada y cargas HPC.
La GPU NVIDIA H200 Tensor Core está diseñada para cargas de trabajo de IA exigentes, incluido el entrenamiento de grandes modelos de lenguaje, ajuste fino, inferencia, sistemas de recomendación, visión por computador, analítica y computación científica. Los Tensor Cores con soporte para computación de precisión mixta ayudan a acelerar las operaciones de redes neuronales manteniendo la precisión requerida para cargas de trabajo de producción.
Las ocho GPU están conectadas mediante NVIDIA NVLink de cuarta generación y cuatro dispositivos NVIDIA NVSwitch, creando una red de comunicación GPU de alto ancho de banda. Esta arquitectura proporciona 900 GB/s de ancho de banda GPU a GPU y permite que varios aceleradores operen de forma eficiente como un único dominio de cómputo para cargas distribuidas exigentes.
El sistema está impulsado por dos procesadores Intel Xeon 8480C PCIe Gen5 con 56 núcleos cada uno, para un total de 112 núcleos de CPU. La configuración de fábrica incluye 2 TB de memoria del sistema, lo que permite una preparación de datos eficiente, cargas de trabajo en contenedores y tareas de procesamiento del lado de la CPU necesarias en pipelines de IA.
Casos de uso principales
- Entrenamiento y ajuste fino de modelos de IA. DGX H200 acelera el desarrollo y la optimización de modelos de IA a gran escala, incluida IA generativa, procesamiento del lenguaje natural, visión por computador, sistemas de recomendación y aplicaciones empresariales de IA.
- Cargas de inferencia a gran escala. La plataforma está diseñada para desplegar servicios de IA en producción, aplicaciones inteligentes, sistemas de decisión automatizados, chatbots y ejecución de modelos en tiempo real.
- Analítica de datos y computación acelerada. DGX H200 admite analítica acelerada por GPU, computación científica, simulaciones y cargas que combinan métodos HPC tradicionales con aprendizaje automático.
- Entornos de IA multiusuario. La tecnología NVIDIA Multi-Instance GPU (MIG) permite la partición GPU compatible en instancias aisladas con recursos dedicados de cómputo y memoria, mejorando el uso de recursos para varios equipos y aplicaciones.
- Infraestructura empresarial de IA. DGX H200 proporciona una base estandarizada para organizaciones que construyen plataformas internas de IA, entornos de investigación, operaciones de aprendizaje automático escalables e infraestructura privada de IA generativa.
NVIDIA DGX H200 en la infraestructura empresarial
NVIDIA DGX H200 está diseñado para organizaciones que necesitan recursos dedicados de cómputo de IA para desarrollo continuo, pruebas y despliegue en producción. La plataforma permite que equipos de ciencia de datos, ingenieros de IA y desarrolladores empresariales trabajen en un entorno de hardware y software coherente en lugar de gestionar servidores acelerados e integraciones por separado.
El sistema puede desplegarse como nodo individual de IA o integrarse en entornos NVIDIA más amplios. Al planificar una implementación empresarial, las organizaciones deben evaluar no solo el rendimiento GPU, sino también la arquitectura de red, los requisitos de almacenamiento externo, la distribución de cargas, la disponibilidad eléctrica, la capacidad de refrigeración y la preparación del centro de datos.
Con su diseño de hardware integrado, el ecosistema de software NVIDIA y soporte para despliegues de IA escalables, DGX H200 ayuda a las empresas a acortar el camino desde la experimentación con IA hasta el uso en producción. La plataforma ofrece una base fiable para servicios de IA generativa, plataformas de aprendizaje automático, soluciones analíticas y aplicaciones HPC que requieren rendimiento predecible y gestión simplificada de la infraestructura.
Queremos asegurarnos de que nuestro equipo sea totalmente confiable para usted. Por eso, todos nuestros equipos (incluso los nuevos) se someten a diagnósticos, pruebas y reemplazo de piezas completos.
Nuestro equipo está completamente equipado con diversas utilidades y software. No se preocupe, funcionará durante mucho tiempo.
Fuente de alimentación
Los componentes funcionan a plena capacidad y se prueban durante varios días. Si no estamos seguros de algo, lo reemplazamos.
Nuestra normativa exige las mismas pruebas tanto para equipos usados como nuevos. Por cierto, complementamos la garantía oficial del fabricante con nuestra propia garantía.