Serwer NVIDIA DGX A100

NVIDIA DGX A100 to zintegrowany system obliczeń akcelerowanych zaprojektowany dla korporacyjnych obciążeń związanych ze sztuczną inteligencją, uczeniem maszynowym, analityką i obliczeniami wysokiej wydajności (HPC). Platforma oparta na ośmiu procesorach GPU NVIDIA A100 Tensor Core zapewnia jednolitą architekturę do trenowania modeli AI, inferencji i przetwarzania danych na dużą skalę w nowoczesnych centrach danych.

W odróżnieniu od tradycyjnego serwera GPU składanego z oddzielnych komponentów, NVIDIA DGX A100 łączy akcelerację GPU, szybkie interkonekty, pamięć masową, sieć oraz zweryfikowany stos oprogramowania NVIDIA w jednej platformie gotowej do zastosowań biznesowych. System może działać jako samodzielny węzeł obliczeniowy AI lub jako element skalowalnych klastrów DGX.

Architektura GPU do trenowania i inferencji AI

NVIDIA DGX A100 jest wyposażony w osiem GPU NVIDIA A100 Tensor Core opartych na architekturze NVIDIA Ampere. System jest dostępny w konfiguracjach 640GB i 320GB, w obu przypadkach z ośmioma GPU. Model DGX A100 640GB zapewnia 640GB łącznej pamięci GPU, a model DGX A100 320GB zapewnia 320GB łącznej pamięci GPU.

GPU NVIDIA A100 Tensor Core zaprojektowano z myślą o szerokim zakresie obciążeń AI, w tym trenowaniu deep learning, inferencji, analityce i zastosowaniach HPC. Tensor Cores obsługujące obliczenia o mieszanej precyzji przyspieszają operacje sieci neuronowych, zachowując dokładność wymaganą w środowiskach produkcyjnych.

Osiem GPU jest połączonych za pomocą NVIDIA NVLink trzeciej generacji oraz sześciu urządzeń NVIDIA NVSwitch drugiej generacji, tworząc wysokoprzepustową strukturę komunikacji między GPU. Architektura ta zapewnia do 600GB/s przepustowości GPU-to-GPU i umożliwia wielu akceleratorom efektywną pracę jako jedna domena obliczeniowa dla wymagających obciążeń rozproszonych.

System jest oparty na dwóch procesorach AMD EPYC 7742, każdy z 64 rdzeniami, co daje łącznie 128 rdzeni CPU. Konfiguracja fabryczna obsługuje do 2TB pamięci systemowej, wspierając przygotowanie danych, obciążenia kontenerowe oraz zadania przetwarzania po stronie CPU wymagane przez potoki AI.

Główne zastosowania

• Trenowanie i dostrajanie modeli AI. DGX A100 przyspiesza rozwój i optymalizację modeli deep learning, w tym rozpoznawanie obrazu, przetwarzanie języka naturalnego, systemy rekomendacyjne i firmowe aplikacje AI.
• Inferencja na dużą skalę. Platforma jest przeznaczona do wdrażania produkcyjnych usług AI, inteligentnych aplikacji, automatycznych systemów decyzyjnych i wykonywania modeli w czasie rzeczywistym.
• Analityka danych i obliczenia akcelerowane. DGX A100 obsługuje analitykę przyspieszaną przez GPU, obliczenia naukowe, symulacje oraz obciążenia łączące klasyczne metody HPC z uczeniem maszynowym.
• Wieloużytkownikowe środowiska AI. Technologia NVIDIA Multi-Instance GPU (MIG) pozwala podzielić każdy GPU A100 na maksymalnie siedem izolowanych instancji GPU z dedykowaną pamięcią i zasobami obliczeniowymi, zwiększając wykorzystanie zasobów przez wiele zespołów i aplikacji.
• Korporacyjna infrastruktura AI. DGX A100 stanowi ustandaryzowaną podstawę dla organizacji budujących wewnętrzne platformy AI, środowiska badawcze i skalowalne operacje uczenia maszynowego.

NVIDIA DGX A100 w infrastrukturze przedsiębiorstwa

NVIDIA DGX A100 jest przeznaczony dla organizacji, które potrzebują dedykowanych zasobów obliczeniowych AI do ciągłego rozwoju, testowania i wdrażania produkcyjnego. Platforma umożliwia zespołom data science, inżynierom AI i programistom biznesowym pracę w spójnym środowisku sprzętowo-programowym zamiast zarządzania oddzielnymi serwerami akcelerowanymi i warstwami integracyjnymi.

System można wdrożyć jako pojedynczy węzeł AI lub zintegrować z większymi środowiskami opartymi na NVIDIA. Podczas planowania wdrożenia przedsiębiorstwa powinny ocenić nie tylko wydajność GPU, ale także architekturę sieci, wymagania dotyczące zewnętrznej pamięci masowej, dystrybucję obciążeń oraz gotowość centrum danych.

Dzięki zintegrowanej konstrukcji sprzętowej, ekosystemowi oprogramowania NVIDIA i obsłudze skalowalnych wdrożeń AI, DGX A100 pomaga skrócić drogę od eksperymentów z AI do wykorzystania produkcyjnego. Platforma zapewnia solidną podstawę dla usług uczenia maszynowego, platform analitycznych i aplikacji HPC wymagających przewidywalnej wydajności oraz uproszczonego zarządzania infrastrukturą.