Serwer NVIDIA DGX H200
- Stan
- New
- Producent
- NVIDIA
- Format
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H200
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H200
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 141GB
- Total accelerator memory
- 1128GB
- GPU memory type
- HBM3e
- Accelerator memory bandwidth
- 4.8TB/s per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 18GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, retrieval-augmented generation, multimodal AI, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
Potrzebujesz konsultacji technicznej przy wyborze serwera?
Wyślij zgłoszenieNVIDIA DGX H200 to zintegrowany system akcelerowanego przetwarzania, zaprojektowany z myślą o firmowych obciążeniach sztucznej inteligencji, uczenia maszynowego, generatywnej AI, analityki oraz high-performance computing (HPC). Oparty na ośmiu GPU NVIDIA H200 Tensor Core, system zapewnia jednolitą architekturę do trenowania AI, inferencji i przetwarzania danych na dużą skalę w nowoczesnych centrach danych.
W przeciwieństwie do tradycyjnego serwera GPU złożonego z pojedynczych komponentów, NVIDIA DGX H200 łączy akcelerację GPU, szybkie połączenia, pamięć masową, sieć oraz zweryfikowany stos oprogramowania NVIDIA w jednej platformie gotowej do zastosowań biznesowych. Może działać jako samodzielny węzeł obliczeniowy AI lub jako element skalowalnych klastrów opartych na DGX.
Architektura GPU do trenowania i inferencji AI
NVIDIA DGX H200 jest wyposażony w osiem GPU NVIDIA H200 Tensor Core opartych na architekturze NVIDIA Hopper. System oferuje łącznie 1.128 GB pamięci GPU, zapewniając firmom pojemność potrzebną do dużych modeli językowych, aplikacji generatywnej AI, akcelerowanej analityki oraz obciążeń HPC.
GPU NVIDIA H200 Tensor Core jest zaprojektowany do wymagających obciążeń AI, w tym trenowania dużych modeli językowych, dostrajania, inferencji, systemów rekomendacyjnych, widzenia komputerowego, analityki i obliczeń naukowych. Tensor Cores z obsługą obliczeń o mieszanej precyzji pomagają przyspieszać operacje sieci neuronowych, zachowując dokładność wymaganą w środowiskach produkcyjnych.
Osiem GPU jest połączonych za pomocą NVIDIA NVLink czwartej generacji oraz czterech urządzeń NVIDIA NVSwitch, tworząc wysokoprzepustową strukturę komunikacji GPU. Architektura ta zapewnia 900 GB/s przepustowości GPU-GPU i pozwala wielu akceleratorom efektywnie działać jako jedna domena obliczeniowa dla wymagających obciążeń rozproszonych.
System jest napędzany przez dwa procesory Intel Xeon 8480C PCIe Gen5, każdy z 56 rdzeniami, co daje łącznie 112 rdzeni CPU. Konfiguracja fabryczna obejmuje 2 TB pamięci systemowej, wspierając efektywne przygotowanie danych, obciążenia kontenerowe i zadania przetwarzania po stronie CPU wymagane w potokach AI.
Główne zastosowania
- Trenowanie i dostrajanie modeli AI. DGX H200 przyspiesza rozwój i optymalizację dużych modeli AI, w tym generatywnej AI, przetwarzania języka naturalnego, widzenia komputerowego, systemów rekomendacyjnych oraz firmowych aplikacji AI.
- Inferencja na dużą skalę. Platforma jest przeznaczona do wdrażania produkcyjnych usług AI, inteligentnych aplikacji, zautomatyzowanych systemów decyzyjnych, chatbotów i wykonywania modeli w czasie rzeczywistym.
- Analityka danych i akcelerowane obliczenia. DGX H200 wspiera analitykę akcelerowaną przez GPU, obliczenia naukowe, symulacje oraz obciążenia łączące tradycyjne metody HPC z uczeniem maszynowym.
- Wieloużytkownikowe środowiska AI. Technologia NVIDIA Multi-Instance GPU (MIG) umożliwia obsługiwane partycjonowanie GPU na izolowane instancje z dedykowanymi zasobami obliczeniowymi i pamięcią, poprawiając wykorzystanie zasobów przez wiele zespołów i aplikacji.
- Firmowa infrastruktura AI. DGX H200 zapewnia standaryzowaną podstawę dla organizacji budujących wewnętrzne platformy AI, środowiska badawcze, skalowalne operacje uczenia maszynowego oraz prywatną infrastrukturę generatywnej AI.
NVIDIA DGX H200 w infrastrukturze przedsiębiorstwa
NVIDIA DGX H200 został zaprojektowany dla organizacji, które potrzebują dedykowanych zasobów obliczeniowych AI do ciągłego rozwoju, testów i wdrożeń produkcyjnych. Platforma umożliwia zespołom data science, inżynierom AI i programistom firmowym pracę w spójnym środowisku sprzętowo-programowym zamiast zarządzania oddzielnymi serwerami akcelerowanymi i warstwami integracji.
System może być wdrożony jako pojedynczy węzeł AI lub zintegrowany z większymi środowiskami opartymi na NVIDIA. Planując wdrożenie firmowe, organizacje powinny ocenić nie tylko wydajność GPU, lecz także architekturę sieci, wymagania dotyczące zewnętrznej pamięci masowej, dystrybucję obciążeń, dostępność zasilania, możliwości chłodzenia oraz gotowość centrum danych.
Dzięki zintegrowanej konstrukcji sprzętowej, ekosystemowi oprogramowania NVIDIA i wsparciu skalowalnych wdrożeń AI, DGX H200 pomaga firmom skrócić drogę od eksperymentów z AI do zastosowań produkcyjnych. Platforma stanowi niezawodną podstawę dla usług generatywnej AI, platform uczenia maszynowego, rozwiązań analitycznych i aplikacji HPC wymagających przewidywalnej wydajności oraz uproszczonego zarządzania infrastrukturą.
w Servermall
gwarancji
testowanie
Chcemy mieć pewność, że nasz sprzęt jest dla Ciebie w pełni niezawodny. Dlatego cały nasz sprzęt (nawet nowy) podlega pełnej diagnostyce, testowaniu i wymianie części.
testowanie
W pełni ładujemy nasz sprzęt różnymi narzędziami i oprogramowaniem. Bądź pewien, że będzie działał przez bardzo długi czas.
Zasilanie
The components work at full capacity and are tested for several days. If we are not sure about something, we replace it.
of all equipment
Our regulations imply the same testing for both used and new equipment. Oh, and by the way, we complement the official manufacturer’s warranty with our own warranty.