Serwer NVIDIA DGX H100
- Stan
- New
- Producent
- NVIDIA
- Format
- 8U
- CPU
- 2x Intel Xeon Platinum 8480C (56c/112t, 2GHz-3.8GHz, 350W)
- RAM
- 2000GB (DDR5 ECC REG)
- NIC card
- 8x ConnectX-7 via 4x OSFP
- GPU
- 8 x NVIDIA H100
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H100
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 80GB
- Total accelerator memory
- 640GB
- GPU memory type
- HBM3
- Accelerator memory bandwidth
- 3350GB/s (3.35TB/s) per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with four NVSwitch devices
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated 10GB GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA DGX OS, NVIDIA NGC, NVIDIA Base Command and NVIDIA Transformer Engine
- Maximum system power
- 10.2kW
- Cooling
- Air cooling with front-to-back chassis airflow and redundant hot-swap fan modules
- Recommended workloads
- Generative AI and large-language-model training, fine-tuning and inference, multimodal AI, recommendation systems, accelerated analytics, scientific computing and HPC
- Dimensions
- 356 x 482.3 x 897.1 mm (H x W x D)
- Weight
- 130.45 kg maximum
Potrzebujesz konsultacji technicznej przy wyborze serwera?
Wyślij zgłoszenieNVIDIA DGX H100 to zintegrowany system obliczeń akcelerowanych zaprojektowany dla korporacyjnych obciążeń związanych ze sztuczną inteligencją, uczeniem maszynowym, generatywną AI, analityką i obliczeniami wysokiej wydajności (HPC). Platforma oparta na ośmiu procesorach GPU NVIDIA H100 Tensor Core zapewnia jednolitą architekturę do trenowania modeli AI, inferencji i przetwarzania danych na dużą skalę w nowoczesnych centrach danych.
W odróżnieniu od tradycyjnego serwera GPU składanego z oddzielnych komponentów, NVIDIA DGX H100 łączy akcelerację GPU, szybkie interkonekty, pamięć masową, sieć oraz zweryfikowany stos oprogramowania NVIDIA w jednej platformie gotowej do zastosowań biznesowych. System może działać jako samodzielny węzeł obliczeniowy AI lub jako element skalowalnych klastrów DGX.
Architektura GPU do trenowania i inferencji AI
NVIDIA DGX H100 jest wyposażony w osiem GPU NVIDIA H100 Tensor Core opartych na architekturze NVIDIA Hopper. System zapewnia 640GB łącznej pamięci GPU, oferując przedsiębiorstwom pojemność wymaganą dla dużych modeli AI, obciążeń generatywnej AI, analityki akcelerowanej i aplikacji HPC.
GPU NVIDIA H100 Tensor Core zaprojektowano z myślą o wymagających obciążeniach AI, takich jak trenowanie i dostrajanie dużych modeli językowych, inferencja, systemy rekomendacyjne, rozpoznawanie obrazu, analityka i obliczenia naukowe. Tensor Cores z obsługą zaawansowanych obliczeń o mieszanej precyzji przyspieszają operacje sieci neuronowych, zachowując dokładność wymaganą w środowiskach produkcyjnych.
Osiem GPU jest połączonych za pomocą NVIDIA NVLink czwartej generacji oraz czterech urządzeń NVIDIA NVSwitch czwartej generacji, tworząc wysokoprzepustową strukturę komunikacji między GPU. Architektura ta zapewnia do 900GB/s przepustowości GPU-to-GPU i umożliwia wielu akceleratorom efektywną pracę jako jedna domena obliczeniowa dla wymagających obciążeń rozproszonych.
System jest oparty na dwóch procesorach Intel Xeon 8480C, każdy z 56 rdzeniami, co daje łącznie 112 rdzeni CPU. Konfiguracja fabryczna obejmuje 2TB pamięci systemowej, wspierając przygotowanie danych, obciążenia kontenerowe oraz zadania przetwarzania po stronie CPU wymagane przez potoki AI.
Główne zastosowania
- Trenowanie i dostrajanie modeli AI. DGX H100 przyspiesza rozwój i optymalizację dużych modeli AI, w tym generatywnej AI, przetwarzania języka naturalnego, rozpoznawania obrazu, systemów rekomendacyjnych i firmowych aplikacji AI.
- Inferencja na dużą skalę. Platforma jest przeznaczona do wdrażania produkcyjnych usług AI, inteligentnych aplikacji, automatycznych systemów decyzyjnych, chatbotów i wykonywania modeli w czasie rzeczywistym.
- Analityka danych i obliczenia akcelerowane. DGX H100 obsługuje analitykę przyspieszaną przez GPU, obliczenia naukowe, symulacje oraz obciążenia łączące klasyczne metody HPC z uczeniem maszynowym.
- Wieloużytkownikowe środowiska AI. Technologia NVIDIA Multi-Instance GPU (MIG) pozwala podzielić każdy GPU H100 na maksymalnie siedem izolowanych instancji GPU z dedykowaną pamięcią i zasobami obliczeniowymi, zwiększając wykorzystanie zasobów przez wiele zespołów i aplikacji.
- Korporacyjna infrastruktura AI. DGX H100 stanowi ustandaryzowaną podstawę dla organizacji budujących wewnętrzne platformy AI, środowiska badawcze, skalowalne operacje uczenia maszynowego i prywatną infrastrukturę generatywnej AI.
NVIDIA DGX H100 w infrastrukturze przedsiębiorstwa
NVIDIA DGX H100 jest przeznaczony dla organizacji, które potrzebują dedykowanych zasobów obliczeniowych AI do ciągłego rozwoju, testowania i wdrażania produkcyjnego. Platforma umożliwia zespołom data science, inżynierom AI i programistom biznesowym pracę w spójnym środowisku sprzętowo-programowym zamiast zarządzania oddzielnymi serwerami akcelerowanymi i warstwami integracyjnymi.
System można wdrożyć jako pojedynczy węzeł AI lub zintegrować z większymi środowiskami opartymi na NVIDIA. Podczas planowania wdrożenia przedsiębiorstwa powinny ocenić nie tylko wydajność GPU, ale także architekturę sieci, wymagania dotyczące zewnętrznej pamięci masowej, dystrybucję obciążeń, dostępność zasilania, wydajność chłodzenia oraz gotowość centrum danych.
Dzięki zintegrowanej konstrukcji sprzętowej, ekosystemowi oprogramowania NVIDIA i obsłudze skalowalnych wdrożeń AI, DGX H100 pomaga skrócić drogę od eksperymentów z AI do wykorzystania produkcyjnego. Platforma zapewnia solidną podstawę dla usług generatywnej AI, platform uczenia maszynowego, rozwiązań analitycznych i aplikacji HPC wymagających przewidywalnej wydajności oraz uproszczonego zarządzania infrastrukturą.
w Servermall
gwarancji
testowanie
Chcemy mieć pewność, że nasz sprzęt jest dla Ciebie w pełni niezawodny. Dlatego cały nasz sprzęt (nawet nowy) podlega pełnej diagnostyce, testowaniu i wymianie części.
testowanie
W pełni ładujemy nasz sprzęt różnymi narzędziami i oprogramowaniem. Bądź pewien, że będzie działał przez bardzo długi czas.
Zasilanie
The components work at full capacity and are tested for several days. If we are not sure about something, we replace it.
of all equipment
Our regulations imply the same testing for both used and new equipment. Oh, and by the way, we complement the official manufacturer’s warranty with our own warranty.