NVIDIA DGX B300 suele ser suficiente cuando el modelo, junto con su contexto, la caché KV y los datos de trabajo, cabe en ocho GPU estrechamente interconectadas y la empresa lo necesita para inferencia, RAG, ajuste fino y servicios internos de IA. DGX GB300 debe considerarse cuando una sola carga de trabajo necesita utilizar de forma eficiente decenas de GPU, la velocidad de intercambio de datos entre ellas es crítica y el sistema ejecutará de manera continua inferencia, entrenamiento o posentrenamiento a gran escala. No son dos versiones del mismo servidor: B300 es un nodo autónomo de 10U, mientras que GB300 es un rack de computación refrigerado por líquido con requisitos distintos de red, alimentación y operación.
NVIDIA DGX servers
Dos niveles diferentes de infraestructura de IA
Comparar los sistemas únicamente por el número de aceleradores resulta engañoso. DGX B300 incorpora ocho GPU Blackwell Ultra, mientras que DGX GB300 incluye 72. La diferencia de nueve veces importa menos que la forma en que las GPU están interconectadas.
La infraestructura puede escalarse de tres formas:
- Un servidor de IA. Ocho GPU funcionan dentro de un dominio NVLink local.
- Un clúster de servidores. Varios sistemas B300 se conectan mediante InfiniBand o Ethernet, pero cada nodo conserva su propio dominio de ocho GPU.
- Un sistema a escala de rack. En GB300, las 72 GPU están conectadas mediante conmutación NVLink como un único complejo de computación.
Por tanto, la pregunta correcta no es «¿cuántas GPU necesita la empresa?», sino «¿cuántas GPU estrechamente interconectadas requiere una sola carga de trabajo?». Cien aceleradores pueden utilizarse eficazmente con cargas independientes sin un dominio único ni una plataforma a escala de rack costosa. Por el contrario, una gran carga distribuida puede superar el límite de ocho GPU incluso con un número relativamente pequeño de usuarios.
Qué es NVIDIA DGX B300
Vista frontal oficial de NVIDIA DGX B300 con el panel frontal instalado.
Fuente de la imagen: NVIDIA DOCS
DGX B300 es un servidor de IA llave en mano para entrenamiento, ajuste fino, inferencia y cargas analíticas. Según la especificación oficial de NVIDIA, contiene ocho GPU Blackwell Ultra SXM, dos procesadores Intel Xeon 6776P, dos conmutadores NVLink y 2,1 TiB de memoria GPU total. También ofrece ocho interfaces ConnectX-8 de hasta 800 Gbit/s, dos DPU BlueField-3, dos unidades NVMe de arranque y ocho unidades NVMe locales de 3,84 TB. El servidor ocupa 10U y consume aproximadamente 14 kW durante el funcionamiento.
La documentación indica tanto 2,1 como 2,3 TB de memoria. Estas cifras describen la misma configuración: ocho módulos de 288 GB proporcionan 2304 GB en notación decimal, lo que equivale aproximadamente a 2,3 TB o cerca de 2,1 TiB en notación binaria.
B300 utiliza la arquitectura x86 habitual en la infraestructura empresarial. Esto simplifica la migración de aplicaciones internas, agentes de monitorización y contenedores que ya se ejecutan en servidores Intel Xeon. Las GPU realizan los cálculos principales, mientras que los procesadores se encargan de la preparación de datos, la red, la planificación y las tareas del sistema.
El sistema admite alimentación de corriente alterna y conexión a una barra colectora de corriente continua. La refrigeración es por aire, pero los requisitos son considerablemente superiores a los de un servidor convencional de dos sockets: la guía de NVIDIA especifica un consumo máximo de 14,5 kW, un peso de hasta 168 kg y un caudal de aire de hasta 1500 pies cúbicos por minuto.
Por tanto, disponer de 10U libres en un rack estándar no es suficiente. Antes de la instalación deben comprobarse la capacidad de la PDU, la redundancia de las líneas eléctricas, la evacuación del calor, los límites de peso y la disponibilidad de una red de alta velocidad.
Cómo está diseñado NVIDIA DGX GB300
Diseño oficial del rack DGX GB300 NVL72.
Fuente: NVIDIA DOCS
DGX GB300 es un sistema a escala de rack listo para desplegar basado en la arquitectura GB300 NVL72. Combina 72 GPU Blackwell Ultra con 36 procesadores Grace basados en la arquitectura Arm. La capacidad de memoria GPU alcanza 20 TB, mientras que la memoria total de alta velocidad, incluida la memoria Grace, llega a 37 TB. La red de computación utiliza 72 interfaces ConnectX-8, mientras que las funciones de almacenamiento e infraestructura están a cargo de 18 DPU BlueField-3.
El rack incluye:
- 18 bandejas de computación con cuatro GPU y dos CPU Grace cada una;
- nueve bandejas de conmutación NVLink;
- bandejas de alimentación y una barra colectora de corriente continua;
- módulos de gestión;
- circuitos de refrigeración líquida directa;
- sensores de fugas tanto a nivel de módulo como de rack.
NVLink conecta las 72 GPU con un ancho de banda agregado de aproximadamente 130 TB/s. Un rack completo puede consumir hasta 142 kW. Las unidades NVMe locales de los módulos de computación están destinadas principalmente al sistema operativo y a la caché rápida, no a sustituir el almacenamiento de datos compartido.
La arquitectura de CPU también es diferente: B300 utiliza procesadores Intel x86, mientras que GB300 emplea procesadores Grace basados en Arm. Una pila moderna de IA en contenedores suele poder migrarse sin un rediseño importante, pero las bibliotecas propietarias, los agentes de código cerrado y las aplicaciones sin compilaciones para la otra arquitectura deben validarse antes de la migración.
DGX B300 frente a DGX GB300: diferencias principales
| Parámetro | NVIDIA DGX B300 | NVIDIA DGX GB300 |
|---|---|---|
| Nivel del sistema | Servidor de IA independiente | Rack de computación completo |
| GPU | 8 × Blackwell Ultra | 72 × Blackwell Ultra |
| CPU | 2 × Intel Xeon 6776P | 36 × NVIDIA Grace |
| Arquitectura de CPU | x86 | Arm |
| Memoria GPU | Aproximadamente 2,3 TB | Aproximadamente 20 TB |
| Dominio NVLink | 8 GPU | 72 GPU |
| Refrigeración | Refrigeración por aire | Refrigeración líquida directa |
| Consumo energético | Hasta 14–14,5 kW | Hasta 142 kW por rack |
| Escalado | Añadiendo nodos | Dentro del rack y conectando varios racks |
| Cargas habituales | Inferencia empresarial, RAG y ajuste fino | Inferencia a gran escala, entrenamiento y posentrenamiento |
Las cifras máximas en petaflops no muestran la velocidad de ejecución de un modelo concreto. El rendimiento depende del formato de cálculo, la longitud del contexto, el tamaño del lote de solicitudes, el método de partición del modelo, la utilización de las GPU, la velocidad del almacenamiento y la proporción de tiempo dedicada al intercambio de datos. Por tanto, dividir el rendimiento de GB300 por la cifra de B300 no proporciona un factor de aceleración universal.
Cuándo basta con un DGX B300
El modelo cabe en ocho GPU
Los pesos del modelo no son el único factor que debe evaluarse. La memoria también debe alojar:
- la caché KV de las secuencias activas;
- el contexto de entrada y el generado;
- los búferes de trabajo del entorno de inferencia;
- las activaciones, los gradientes y los estados del optimizador durante el entrenamiento;
- margen para un funcionamiento estable sin descarga constante de datos.
Si el conjunto de trabajo completo cabe en los 2,3 TB de memoria de las ocho GPU con un margen adecuado, pasar a NVL72 únicamente para obtener más memoria agregada normalmente no es necesario. Primero deben evaluarse la cuantización, el procesamiento por lotes, la configuración de la caché KV y la plataforma de software.
Inferencia empresarial y servicios internos
Un solo B300 puede dar servicio a:
- un asistente para documentos internos;
- generación y validación de código;
- procesamiento de solicitudes de soporte;
- resumen de documentos;
- búsqueda en bases de conocimiento;
- modelos especializados para imágenes, audio y vídeo.
El número de usuarios por sí solo dice poco sobre la carga real. Mil empleados que envían solicitudes breves pueden generar menos carga que unos pocos analistas que trabajan con contextos largos y modelos de razonamiento. La planificación de capacidad requiere conocer las solicitudes por segundo, el volumen de tokens de entrada y salida, la latencia necesaria y el perfil de los picos de carga.
Si una instancia del modelo no ofrece suficiente rendimiento, suele ser más eficaz añadir un segundo B300 y ejecutar otra réplica. Esto funciona cuando las solicitudes son independientes y pueden distribuirse mediante un balanceador de carga.
RAG
RAG rara vez requiere 72 GPU estrechamente interconectadas únicamente porque el archivo de documentos sea grande. El servicio incluye preparación de datos, generación de embeddings, recuperación, reranking, creación del contexto y generación de respuestas.
El cuello de botella puede estar en la base de datos vectorial, el rendimiento de NVMe, la transferencia de documentos o una segmentación deficiente del texto. GB300 no eliminará automáticamente estas limitaciones. Para RAG empresarial, resulta más práctico separar los flujos de recuperación y generación y reservar las GPU para cargas que realmente se benefician de algo más que el procesamiento por CPU.
Ajuste fino y cargas de los equipos de ML
B300 es adecuado para LoRA, QLoRA, entrenamiento de adaptadores, adaptación de modelos a datos corporativos y varios experimentos independientes. El ajuste fino completo requiere más memoria porque los gradientes, las activaciones y los estados del optimizador se almacenan junto con los pesos, pero la necesidad de GB300 sigue estando determinada por el tamaño del modelo y el esquema de distribución, no por la expresión «ajuste fino» en sí misma.
Los servidores independientes también permiten crecer de forma gradual. Una empresa puede empezar con un B300, añadir un segundo para redundancia o para otro equipo y después crear un clúster con red y almacenamiento compartidos. Esto reduce el riesgo de adquirir un gran rack antes de que exista una carga sostenida.
Cuándo se necesita DGX GB300
NVIDIA DGX servers
Una carga requiere decenas de GPU interconectadas
El principal argumento a favor de GB300 es la necesidad de intercambiar datos continuamente entre las partes de una sola carga. Esto es habitual en el paralelismo tensorial y por canalización, el entrenamiento distribuido, los grandes modelos de mezcla de expertos y otros esquemas en los que el cálculo se reparte entre decenas de GPU.
En un clúster B300, la comunicación dentro de un servidor utiliza NVLink, mientras que la comunicación entre servidores utiliza una red externa. Incluso InfiniBand y Ethernet de alta velocidad presentan características de topología y latencia diferentes. Cuanto mayor es la proporción de operaciones colectivas, más influye la red en el tiempo de ejecución y más valioso resulta un único dominio de 72 GPU.
Inferencia a gran escala
Un gran volumen de solicitudes no siempre requiere GB300. Si el modelo cabe en B300, las solicitudes independientes pueden distribuirse entre varias réplicas ubicadas en servidores distintos.
Un rack NVL72 resulta más justificable cuando se cumplen simultáneamente varias condiciones:
- una instancia del modelo requiere más de ocho GPU;
- se utiliza un contexto muy largo;
- la caché KV consume una parte importante de la memoria;
- los modelos de razonamiento generan muchos tokens intermedios;
- los sistemas agénticos ejecutan cadenas largas de llamadas;
- se requiere un alto rendimiento con objetivos estrictos de latencia;
- el hardware funcionará con una utilización elevada las 24 horas.
En este caso, el valor no procede únicamente del rendimiento de cálculo, sino también de la alta densidad de GPU, la conectividad dentro del rack y la gestión centralizada de las cargas.
Entrenamiento y posentrenamiento
GB300 está diseñado para cargas síncronas de larga duración en las que el tiempo de inactividad de decenas de aceleradores resulta especialmente costoso:
- entrenamiento de grandes modelos fundacionales;
- ajuste fino completo de modelos con una gran cantidad de parámetros;
- aprendizaje por refuerzo;
- generación y evaluación de grandes conjuntos de datos sintéticos;
- aumento del cálculo en tiempo de prueba durante la inferencia;
- canalizaciones en las que varios modelos generan, verifican y evalúan respuestas.
Si una carga requiere cientos o miles de GPU, un GB300 no es el sistema final, sino un bloque de infraestructura escalable con red, almacenamiento y gestión compartidos.
Cuándo se necesita realmente una fábrica de IA
Una fábrica de IA es un entorno de producción que funciona de forma continua, no simplemente una sala con muchos aceleradores. Se caracteriza por varios servicios en producción, colas y cuotas centralizadas, cargas operativas las 24 horas, telemetría desde la GPU hasta el nivel de rack, actualizaciones periódicas de modelos y requisitos de recuperación.
Realizar experimentos aislados y mantener varios servicios internos no hace necesario GB300 por sí solo. El rack está justificado cuando dicho entorno ya se ha diseñado y puede mantenerlo ocupado de forma estable con trabajo útil.
Por qué nueve sistemas DGX B300 no equivalen a un DGX GB300
Nueve sistemas B300 y un GB300 proporcionan 72 GPU. Su capacidad de memoria total también es similar: aproximadamente 20,7 TB en nueve sistemas B300 frente a 20 TB en GB300. Sin embargo, los nueve servidores forman nueve dominios independientes de ocho GPU. Los datos se transfieren entre ellos mediante adaptadores de red y conmutadores externos.
En GB300, las 72 GPU forman parte de un único sistema NVLink. Esto no las convierte en una sola super-GPU con un fondo común de memoria física, pero proporciona una conectividad más estrecha para las operaciones colectivas y los componentes de un modelo distribuido.
Varios sistemas B300 pueden ser preferibles cuando:
- los modelos caben en ocho GPU;
- los equipos y las cargas son independientes;
- el rendimiento escala ejecutando réplicas adicionales;
- la adquisición se realiza por etapas;
- los nodos individuales deben poder mantenerse sin detener todo el conjunto;
- el aislamiento de los proyectos es importante.
GB300 ofrece ventaja cuando una carga supera continuamente los límites de un nodo de ocho GPU y la comunicación entre servidores reduce la eficiencia. El factor decisivo no es el número total de aceleradores, sino la topología de interconexión.
Requisitos del centro de datos
La decisión no puede dejarse únicamente al equipo de ML. Antes de la compra, los arquitectos del centro de datos deben evaluar la alimentación, la refrigeración, el peso, la red y los requisitos de mantenimiento.
Para DGX B300
El sistema requiere:
- 10U de espacio libre en el rack;
- hasta 14,5 kW de potencia por nodo;
- un caudal de aire suficiente;
- alimentación eléctrica redundante;
- puertos de alta velocidad para la red de computación y el almacenamiento;
- almacenamiento externo para conjuntos de datos y puntos de control.
Un solo B300 puede superar la capacidad eléctrica de un rack antiguo. Cuatro servidores ocupan un rack estándar de 40U, pero su consumo combinado se aproxima a 58 kW, por lo que los límites de alimentación y evacuación del calor pueden alcanzarse mucho antes de que se agote el espacio físico.
Para DGX GB300
Se requiere una instalación diseñada para sistemas de alta densidad con refrigeración líquida. Debe admitir:
- suministro y retorno del refrigerante;
- una unidad de distribución de refrigerante;
- monitorización de temperatura, presión y fugas;
- infraestructura eléctrica de hasta 142 kW por rack;
- una red de gestión independiente;
- una red de computación para conectar racks;
- una red de acceso al almacenamiento;
- mantenimiento del circuito de refrigeración líquida.
Un centro de datos comercial convencional puede admitir servidores GPU potentes, pero no esta densidad ni la refrigeración líquida directa. En ese caso, las alternativas son una instalación especializada, la infraestructura de un socio o el acceso a la nube.
Las unidades NVMe locales de ambos sistemas no sustituyen el almacenamiento compartido para conjuntos de datos, puntos de control y el registro de modelos. Decenas de GPU costosas permanecerán inactivas si los datos no pueden suministrarse con suficiente rapidez, por lo que la red y el almacenamiento deben diseñarse junto con la capa de computación.
Economía: el coste del trabajo útil importa más que el precio del rack
El coste total de propiedad incluye:
- hardware, red, óptica y cableado;
- almacenamiento compartido;
- preparación de la alimentación y la refrigeración;
- software y soporte;
- el trabajo del equipo de infraestructura;
- margen de potencia y componentes de repuesto;
- migración de aplicaciones y coste del tiempo de inactividad.
Resulta más útil comparar el coste por millón de tokens, el tiempo de entrenamiento, las solicitudes por vatio, el cumplimiento de la latencia objetivo y la utilización media de las GPU. Un alto rendimiento máximo no es rentable si el sistema pasa la mayor parte de la semana esperando trabajo.
GB300 puede reducir el coste por unidad de resultado con una utilización sostenida y cargas que aprovechan la conectividad de 72 GPU. Para experimentos irregulares, varios sistemas B300 o una combinación de servidores locales y recursos en la nube suelen reducir el riesgo financiero.
También debe tenerse en cuenta la concentración de recursos: el mantenimiento de un rack afecta a una gran cantidad de capacidad de cálculo. Por tanto, la alta densidad exige redundancia para las cargas, los datos y los sistemas de la instalación.
Escenarios habituales de elección
| Situación | Opción más probable | Motivo |
|---|---|---|
| Asistente empresarial y RAG | Uno o dos sistemas DGX B300 | El modelo suele caber en 8 GPU; un segundo nodo proporciona redundancia |
| Varios equipos de ML independientes | Clúster DGX B300 | Es más fácil aislar los recursos y mantener los nodos |
| LoRA, QLoRA y ajuste fino para aplicaciones | DGX B300 | NVL72 suele resultar excesivo |
| Gran volumen de solicitudes breves | Varios sistemas DGX B300 | Las solicitudes pueden distribuirse entre réplicas del modelo |
| Un modelo requiere decenas de GPU | DGX GB300 | Es importante disponer de un único dominio de 72 GPU |
| Contexto largo y modelos de razonamiento con carga sostenida | DGX GB300 | Se requieren capacidad de memoria, densidad y comunicación rápida |
| Entrenamiento de un gran modelo fundacional | DGX GB300 o varios racks | Se requieren cálculos síncronos de larga duración |
| El centro de datos no admite refrigeración líquida | DGX B300 o una instalación externa | GB300 no puede instalarse como un servidor convencional |
| La carga todavía es experimental | B300 más capacidad en la nube para los picos | Menor riesgo de infrautilización del hardware |
Alternativas a una plataforma DGX llave en mano
DGX combina computación, red, software del sistema y soporte en una plataforma validada. Sin embargo, las empresas pueden elegir servidores GPU de fabricantes OEM y especificar por sí mismas los procesadores, las unidades, la red y los aceleradores.
Por ejemplo, la generación actual incluye servidores Dell PowerEdge 17G, incluidos modelos para computación de alta densidad. También existen configuraciones basadas en AMD EPYC, que permiten equilibrar de otra forma las líneas PCIe, los núcleos de CPU y la memoria del sistema.
Este enfoque ofrece más flexibilidad y simplifica las actualizaciones por etapas, pero el cliente pasa a ser responsable de la topología PCIe y NVLink, la compatibilidad de las GPU, la red de interconexión, la refrigeración, la pila de software y la tolerancia a fallos.
Un servidor OEM con ocho GPU B300 puede ser similar a DGX B300 en recursos de cálculo, pero no se convierte automáticamente en un equivalente en integración y soporte. Un conjunto de servidores GPU independientes tampoco sustituye a GB300 cuando la carga requiere un único dominio NVL72.
Cómo pasar de un servidor a un rack
La transición puede realizarse por etapas:
- desplegar un B300 para los primeros modelos en producción;
- añadir un segundo nodo para redundancia y cargas paralelas;
- crear un clúster con red y almacenamiento compartidos;
- recopilar datos sobre utilización de GPU, latencia y comunicación entre nodos;
- identificar las cargas que funcionan de manera ineficiente dentro de los límites de ocho GPU;
- preparar una instalación con alimentación y refrigeración líquida adecuadas;
- desplegar GB300 para las cargas que requieren una interconexión más estrecha.
Una arquitectura mixta suele ser más económica que una sustitución completa. Los sistemas B300 pueden seguir atendiendo modelos más pequeños, desarrollo e inferencia independiente, mientras que GB300 recibe las cargas para las que su topología ofrece una ventaja medible.
Para simplificar la migración, conviene estandarizar de antemano los contenedores, los formatos de los modelos, el almacenamiento de puntos de control, la telemetría y la planificación de recursos. De este modo, las cargas pueden moverse entre nodos independientes y racks sin quedar estrechamente vinculadas a un único modelo de despliegue.
Qué elegir
DGX B300 es adecuado para la mayoría de las empresas que crean servicios de IA empresariales, desarrollan RAG, realizan ajuste fino para aplicaciones y sirven modelos que caben en ocho GPU. Varios sistemas B300 siguen siendo una opción lógica para equipos independientes y solicitudes que pueden distribuirse entre réplicas del modelo.
DGX GB300 se necesita cuando el factor limitante es el tamaño del dominio de computación interconectado. Si un modelo o una carga de entrenamiento debe intercambiar datos continuamente entre decenas de GPU y el centro de datos está preparado para hasta 142 kW de potencia y refrigeración líquida directa, NVL72 ofrece una ventaja que no puede conseguirse simplemente añadiendo servidores.
El paso a GB300 debe estar respaldado por mediciones: uso de memoria, proporción de comunicaciones, longitud de las colas, latencia objetivo, utilización de las GPU y coste del trabajo útil. Hasta disponer de estos datos, B300 o un clúster de varios nodos suele ofrecer una vía de crecimiento más flexible y con menos riesgo.
