Serwer NVIDIA DGX H800
- Stan
- New
- Producent
- NVIDIA
- CPU
- 2x Intel Xeon Platinum 8480C (56C 105M Cache 2.00 GHz)
- RAM
- 32x 64GB DDR5 4800MHz
- Zasilacz
- 6x3000W Titan
- RAID controller
- 9560-16iRAID
- HDD
- 8x3.84T NVMe PCIe/ 2x960Gb NVMe M.2
- NIC card
- 2xNVIDIA InfiniBand 400Gb/ 8xNVIDIA ConnectX-7 MCX75310AAS-NEAT400G
- GPU
- NVIDIA DELTA-NEXT Vulcan SXM5 8xNVIDIA H100 640G
- Accelerator manufacturer
- NVIDIA
- Accelerator model
- NVIDIA H100 on an NVIDIA DELTA-NEXT Vulcan HGX H100 baseboard
- Installed GPU/APU count
- 8
- Maximum GPU/APU count
- 8
- Memory per accelerator
- 80GB
- Total accelerator memory
- 640GB
- GPU memory type
- HBM3
- Accelerator memory bandwidth
- 3350GB/s (3.35TB/s) per GPU
- Accelerator form factor
- SXM5
- Accelerator interconnect
- Fourth-generation NVIDIA NVLink with NVSwitch
- Accelerator-to-CPU interface
- PCIe 5.0 x16
- Supported compute data types
- FP64, FP32, TF32, BF16, FP16, FP8 and INT8
- Accelerator virtualization
- NVIDIA vGPU, SR-IOV and GPU passthrough
- MIG support
- Up to 7 isolated GPU instances per GPU
- Software ecosystem
- NVIDIA CUDA, NVIDIA AI Enterprise, NVIDIA NGC and NVIDIA Transformer Engine
- Maximum system power
- 12kW
- Cooling
- Air cooling
- Recommended workloads
- AI model training and fine-tuning, large-scale inference, generative AI, natural language processing, computer vision, accelerated analytics, scientific computing and HPC
Potrzebujesz konsultacji technicznej przy wyborze serwera?
Wyślij zgłoszenieNVIDIA DGX H800 to zintegrowany system obliczeń akcelerowanych zaprojektowany dla korporacyjnych obciążeń związanych ze sztuczną inteligencją, uczeniem maszynowym, generatywną AI, analityką i obliczeniami wysokiej wydajności (HPC). Platforma oparta na ośmiu procesorach GPU NVIDIA H800 Tensor Core zapewnia jednolitą architekturę do trenowania modeli AI, inferencji i przetwarzania danych na dużą skalę w nowoczesnych centrach danych.
W odróżnieniu od tradycyjnego serwera GPU składanego z oddzielnych komponentów, NVIDIA DGX H800 łączy akcelerację GPU, szybkie interkonekty, pamięć masową, sieć oraz zweryfikowany stos oprogramowania NVIDIA w jednej platformie gotowej do zastosowań biznesowych. System może działać jako samodzielny węzeł obliczeniowy AI lub jako element skalowalnych klastrów DGX.
Architektura GPU do trenowania i inferencji AI
NVIDIA DGX H800 jest wyposażony w osiem GPU NVIDIA H800 Tensor Core opartych na architekturze NVIDIA Hopper. Każdy GPU zapewnia 80GB pamięci, co daje systemowi 640GB łącznej pamięci GPU dla dużych modeli AI, obciążeń generatywnej AI, analityki akcelerowanej i aplikacji HPC.
GPU NVIDIA H800 Tensor Core zaprojektowano z myślą o wymagających obciążeniach AI, takich jak trenowanie i dostrajanie dużych modeli językowych, inferencja, systemy rekomendacyjne, rozpoznawanie obrazu, analityka i obliczenia naukowe. Tensor Cores z obsługą akceleracji FP8, BFLOAT16, FP16, TF32 i INT8 pomagają zwiększyć przepustowość potoków trenowania i inferencji.
GPU H800 SXM obsługuje łączność NVIDIA NVLink z przepustowością do 400GB/s oraz PCIe 5.0 z przepustowością do 128GB/s. W systemie DGX H800 akceleratory te są zintegrowane w platformie multi-GPU, która wspiera szybką komunikację wewnątrz węzła oraz efektywne wykonywanie rozproszonych obciążeń AI.
System wykorzystuje platformę z dwoma procesorami Intel Xeon Platinum 8480C i 2TB pamięci systemowej, wspierając przygotowanie danych, orkiestrację, obciążenia kontenerowe oraz zadania przetwarzania po stronie CPU wymagane przez korporacyjne potoki AI.
Główne zastosowania
- Trenowanie i dostrajanie modeli AI. DGX H800 przyspiesza rozwój i optymalizację dużych modeli AI, w tym generatywnej AI, przetwarzania języka naturalnego, rozpoznawania obrazu, systemów rekomendacyjnych i firmowych aplikacji AI.
- Inferencja na dużą skalę. Platforma jest przeznaczona do wdrażania produkcyjnych usług AI, inteligentnych aplikacji, automatycznych systemów decyzyjnych, chatbotów i wykonywania modeli w czasie rzeczywistym.
- Analityka danych i obliczenia akcelerowane. DGX H800 obsługuje analitykę przyspieszaną przez GPU, obliczenia naukowe, symulacje oraz obciążenia łączące klasyczne metody HPC z uczeniem maszynowym.
- Wieloużytkownikowe środowiska AI. Technologia NVIDIA Multi-Instance GPU (MIG) pozwala podzielić każdy GPU H800 na maksymalnie siedem izolowanych instancji GPU z dedykowaną pamięcią i zasobami obliczeniowymi, zwiększając wykorzystanie zasobów przez wiele zespołów i aplikacji.
- Korporacyjna infrastruktura AI. DGX H800 stanowi ustandaryzowaną podstawę dla organizacji budujących wewnętrzne platformy AI, środowiska badawcze, skalowalne operacje uczenia maszynowego i prywatną infrastrukturę generatywnej AI.
NVIDIA DGX H800 w infrastrukturze przedsiębiorstwa
NVIDIA DGX H800 jest przeznaczony dla organizacji, które potrzebują dedykowanych zasobów obliczeniowych AI do ciągłego rozwoju, testowania i wdrażania produkcyjnego. Platforma umożliwia zespołom data science, inżynierom AI i programistom biznesowym pracę w spójnym środowisku sprzętowo-programowym zamiast zarządzania oddzielnymi serwerami akcelerowanymi i warstwami integracyjnymi.
System można wdrożyć jako pojedynczy węzeł AI lub zintegrować z większymi środowiskami opartymi na NVIDIA. Podczas planowania wdrożenia przedsiębiorstwa powinny ocenić nie tylko wydajność GPU, ale także architekturę sieci, wymagania dotyczące zewnętrznej pamięci masowej, dystrybucję obciążeń, dostępność zasilania, wydajność chłodzenia oraz gotowość centrum danych.
Dzięki zintegrowanej konstrukcji sprzętowej, ekosystemowi oprogramowania NVIDIA i obsłudze skalowalnych wdrożeń AI, DGX H800 pomaga skrócić drogę od eksperymentów z AI do wykorzystania produkcyjnego. Platforma zapewnia solidną podstawę dla usług generatywnej AI, platform uczenia maszynowego, rozwiązań analitycznych i aplikacji HPC wymagających przewidywalnej wydajności oraz uproszczonego zarządzania infrastrukturą.
w Servermall
gwarancji
testowanie
Chcemy mieć pewność, że nasz sprzęt jest dla Ciebie w pełni niezawodny. Dlatego cały nasz sprzęt (nawet nowy) podlega pełnej diagnostyce, testowaniu i wymianie części.
testowanie
W pełni ładujemy nasz sprzęt różnymi narzędziami i oprogramowaniem. Bądź pewien, że będzie działał przez bardzo długi czas.
Zasilanie
The components work at full capacity and are tested for several days. If we are not sure about something, we replace it.
of all equipment
Our regulations imply the same testing for both used and new equipment. Oh, and by the way, we complement the official manufacturer’s warranty with our own warranty.