NVIDIA H100, H200 y A100 para LLM: Comparación de memoria, ancho de banda y escenarios de uso

Al elegir una GPU para LLM, A100 suele seguir siendo una opción racional para pilotos, fine-tuning e inferencia moderada. H100 conviene cuando importan la velocidad, FP8 y una alta utilización, mientras que H200 tiene sentido cuando el proyecto se ve limitado por la capacidad y el ancho de banda de la memoria de vídeo. En pocas palabras: A100 es una opción de presupuesto razonable, H100 es rendimiento y H200 es para modelos grandes, contexto largo e inferencia densa.

La comparación entre NVIDIA A100, H100 y H200 no puede reducirse a una sola frase como “cuál es más rápida”. Para los grandes modelos de lenguaje importan varios factores a la vez:

• cuánta memoria de vídeo hay disponible en una sola GPU;
• con qué rapidez la GPU lee los datos desde la memoria;
• si la tarjeta admite formatos de cálculo modernos;
• si es posible combinar varias GPU en un mismo servidor;
• si el servidor tendrá suficiente alimentación y refrigeración;
• cuánto costarán no solo la compra, sino también la operación.

Por eso una misma tarjeta puede ser una buena elección en un escenario y una mala decisión en otro. Para el fine-tuning de un modelo de tamaño medio, A100 puede ser suficiente. Para entrenamiento o inferencia pesada, H100 dará un aumento notable. Para modelos grandes con contexto largo, H200 suele ser más interesante que H100 no porque sea “más nueva”, sino porque tiene más memoria y una memoria más rápida.

Cómo elegir en un minuto

Vale la pena considerar A100 si:

• el presupuesto es limitado;
• se necesita una plataforma madura y bien soportada;
• el proyecto todavía está en fase experimental o acaba de salir de ella;
• se planean fine-tuning, pruebas de modelos e inferencia moderada;
• existe la posibilidad de comprar un servidor o una tarjeta reacondicionados;
• lo importante es el coste de entrada, no la velocidad máxima.

H100 encaja mejor si:

• hay que acelerar el entrenamiento y el fine-tuning de modelos modernos;
• la inferencia con alta carga es importante;
• se utiliza una pila capaz de trabajar con FP8;
• el proyecto necesita alto rendimiento por GPU;
• la plataforma de servidor está diseñada para configuraciones GPU densas.

Tiene sentido elegir H200 si:

• el modelo, el contexto o el batch chocan con el límite de memoria de vídeo;
• se necesita inferencia de LLM grandes;
• se usa RAG con documentos voluminosos;
• es importante procesar un gran número de solicitudes de forma densa;
• H100 ya no es suficiente por memoria, no solo por velocidad.

Para seleccionar una infraestructura lista para estas tareas, conviene mirar no solo GPU individuales, sino también servidores con GPU NVIDIA, porque en proyectos LLM la tarjeta casi nunca existe separada del chasis, la alimentación, la refrigeración, la red y el sistema de almacenamiento.

Por qué para los LLM no solo importan los teraflops

En las comparativas habituales de GPU se suele poner el foco en el rendimiento pico. Para los LLM es un indicador útil, pero incompleto. Un gran modelo de lenguaje trabaja constantemente con volúmenes enormes de datos: pesos, cálculos intermedios, caché de atención, tokens de entrada y batches de solicitudes.

Por eso la elección real suele depender no de la pregunta “qué GPU es la más potente”, sino de cuestiones más prácticas:

1. ¿Cabe el modelo en memoria?
2. ¿Se puede mantener el contexto necesario?
3. ¿Basta el ancho de banda de memoria?
4. ¿Con qué eficiencia se utilizan varias GPU?
5. ¿Cuánto cuesta un resultado útil: experimento, solicitud, batch u hora de entrenamiento?

Capacidad de memoria de vídeo

La memoria de vídeo es uno de los parámetros principales para los LLM. En ella se colocan:

• los pesos del modelo;
• la caché de atención;
• los datos intermedios durante el entrenamiento;
• los datos del batch;
• las estructuras auxiliares del framework;
• parte de los datos para ejecución distribuida.

Cuanto mayores sean el modelo y el contexto, antes se topará la tarea con la memoria. Por ejemplo, durante la inferencia puede ocurrir que la potencia de cálculo todavía sea suficiente, pero que el contexto largo y un batch grande ya no quepan en el volumen disponible. En ese caso, una GPU más rápida con menos memoria no siempre será mejor.

A100 está disponible en versiones de 40 y 80 GB. En las especificaciones oficiales de NVIDIA, H100 para SXM/NVL se indica con 80 y 94 GB de memoria. H200 ya ofrece 141 GB de HBM3e, y esta es su diferencia clave para escenarios LLM.

Ancho de banda de memoria

El ancho de banda muestra con qué rapidez la GPU puede leer y escribir datos en su propia memoria. Para los LLM es crítico: el modelo accede constantemente a los pesos y a la caché, sobre todo durante la generación de texto y el trabajo con contexto grande.

Simplificando, la capacidad de memoria responde a la pregunta “si la tarea cabe”, y el ancho de banda responde a “con qué rapidez la GPU podrá trabajar con ella”.

Según los datos oficiales de NVIDIA:

• A100 80GB tiene un ancho de banda de memoria superior a 2 TB/s;
• H100 SXM alcanza 3,35 TB/s y H100 NVL 3,9 TB/s;
• H200 alcanza 4,8 TB/s.

Por eso H200 resulta especialmente interesante en tareas donde la GPU no solo “calcula”, sino que mueve constantemente grandes volúmenes de datos por la memoria: inferencia de modelos grandes, generación por lotes, contexto largo, RAG, varios usuarios o varios servicios en una misma plataforma.

Formatos de cálculo

Para los LLM importa no solo la potencia “bruta”, sino también el formato en el que se realizan los cálculos.

Las opciones más habituales son:

• FP32 — alta precisión, pero gran consumo de memoria y cálculo.
• FP16/BF16 — opción común para entrenamiento y fine-tuning.
• FP8 — formato más compacto, especialmente importante para H100 y H200.
• INT8 y otras variantes de cuantización — se usan a menudo para inferencia cuando es necesario reducir el consumo de memoria y acelerar las respuestas.

FP8 no significa que cualquier tarea vaya a ser automáticamente más rápida y barata. Se necesitan bibliotecas compatibles, una configuración correcta y una comprobación de la calidad del modelo. Pero para cargas LLM modernas, el soporte de FP8 en H100 y H200 es una ventaja importante frente a A100.

Conexión entre GPU

Los modelos grandes a menudo no se limitan a una sola tarjeta. Varias GPU pueden trabajar en un mismo servidor o en varios nodos. Entonces se vuelve importante la velocidad de intercambio de datos entre ellas.

Aquí aparecen tres conceptos importantes:

• PCIe — el bus estándar para conectar dispositivos en un servidor.
• NVLink — una conexión más rápida entre GPU.
• NVSwitch — una tecnología para sistemas multi-GPU densos, donde varias tarjetas deben intercambiar datos rápidamente entre sí.

Para la inferencia individual de un modelo pequeño, el interconector puede no ser el factor principal. Pero para el entrenamiento, la distribución del modelo entre varias GPU o el servicio de modelos grandes, la conexión entre tarjetas se convierte en uno de los cuellos de botella.

Comparación de características de A100, H100 y H200

Esta tabla es útil como punto de partida, pero no hay que elegir una “A100 contra H100 contra H200” abstracta, sino una versión concreta y un servidor concreto.

Por ejemplo, H100 SXM, H100 NVL y H100 PCIe no son lo mismo en términos de memoria, alimentación, refrigeración e interconexión. H200 también se revela solo en una plataforma diseñada para su consumo energético, flujo de aire y montaje denso.

Si la tarea consiste en elegir no solo la tarjeta, sino también hardware compatible, tiene sentido mirar el catálogo de GPU NVIDIA para IA y redes neuronales junto con las plataformas de servidor, no por separado.

A100 para LLM: cuándo sigue siendo racional

Fuente de la imagen: NVIDIA

NVIDIA A100 ya no parece la tarjeta más nueva frente a H100 y H200, pero eso no la vuelve inútil para los LLM. En la práctica, A100 sigue siendo una opción sólida donde se necesita una infraestructura madura, compatibilidad predecible y un precio más razonable.

Puntos fuertes de A100

A100 es adecuada para muchas tareas que no requieren el rendimiento máximo de la generación Hopper:

• fine-tuning de modelos;
• inferencia de modelos de tamaño medio;
• experimentos con arquitecturas;
• tareas de investigación;
• pipelines corporativos de ML;
• pruebas de sistemas RAG;
• entrenamiento de modelos de tamaño moderado;
• reparto de la GPU entre varias cargas.

Una ventaja adicional es la madurez del ecosistema. Para A100 ya están muy probados los controladores, frameworks, configuraciones de servidor, monitorización y prácticas de operación. Para un equipo que apenas está construyendo infraestructura LLM, esto puede ser más importante que la velocidad máxima.

Dónde A100 puede ser la mejor elección

A100 encaja especialmente cuando el proyecto necesita empezar sin un presupuesto excesivo. Por ejemplo:

• una empresa lanza un asistente interno;
• el equipo prueba varios modelos abiertos;
• la carga todavía no es constante;
• es más importante validar una hipótesis que construir de inmediato un clúster caro;
• el modelo cabe en 40 u 80 GB de memoria;
• no se necesita FP8;
• se puede usar hardware reacondicionado.

En estos escenarios, A100 puede ofrecer el mejor equilibrio entre precio y utilidad. Comprar H100 o H200 solo estará justificado cuando la aceleración reduzca realmente el coste de los experimentos, el coste de una solicitud o el riesgo de inactividad.

Limitaciones de A100

Las principales limitaciones de A100 para LLM modernos son:

• no tiene FP8;
• su ancho de banda de memoria es menor que el de H100 y H200;
• tiene menos margen de memoria de vídeo en comparación con H200;
• es más difícil trabajar con contextos muy largos;
• al crecer el batch y el tamaño del modelo, las limitaciones aparecen antes.

No conviene elegir A100 “por costumbre” si el proyecto ya está pensado para inferencia pesada de modelos grandes, contexto largo y alta densidad de usuarios. Pero si la tarea es moderada y el presupuesto importa, A100 aún puede ser la opción más sensata.

H100 para LLM: dónde aparece la mejora real

Fuente de la imagen: NVIDIA

H100 ya es otra clase de acelerador para LLM. Su ventaja no consiste solo en que sea más nueva que A100. Lo principal es la arquitectura Hopper, el soporte de FP8, el alto ancho de banda de memoria y una mejor adaptación a pipelines modernos de IA.

Por qué H100 es más rápida en tareas LLM

H100 se aprovecha mejor cuando la carga utiliza de verdad sus capacidades:

• entrenamiento y fine-tuning de modelos grandes;
• inferencia con alta frecuencia de solicitudes;
• batches grandes;
• bibliotecas modernas con soporte de FP8;
• trabajo distribuido de varias GPU;
• frameworks optimizados para transformadores.

Si el equipo utiliza una pila moderna y sabe trabajar con GPU más recientes, H100 puede reducir el tiempo de experimentación y acelerar la salida del modelo a producción. Esto importa no solo al equipo técnico, sino también al negocio: se entrena antes, se valida antes la hipótesis y se actualiza antes el modelo.

Para configuraciones listas se pueden mirar servidores con GPU NVIDIA H100, pero al elegir es importante comprobar no solo la tarjeta, sino toda la plataforma: CPU, memoria, ranuras, refrigeración, fuentes de alimentación e interfaces de red.

Cuándo H100 es mejor que A100

H100 normalmente supera a A100 si:

• el modelo es más grande;
• el batch es mayor;
• se requiere alta velocidad de inferencia;
• es importante acortar el tiempo de fine-tuning;
• se utiliza FP8;
• hay una alta carga constante;
• la infraestructura está diseñada para varias GPU.

H100 se ve especialmente bien en escenarios de producción donde la aceleración se convierte en dinero. Si la GPU está ocupada la mayor parte del tiempo, una tarjeta más cara puede amortizarse gracias a mayor rendimiento y menor coste por solicitud.

Cuándo H100 puede ser excesiva

H100 no siempre está justificada. Puede ser excesiva si:

• el modelo es pequeño;
• hay pocas solicitudes;
• el proyecto está en una fase piloto temprana;
• el equipo aún no ha optimizado el código;
• el cuello de botella está en el almacenamiento, la red o la lógica de la aplicación;
• la plataforma de servidor no permite aprovechar la GPU.

Un error común es comprar H100 cuando el problema real no está en la GPU. Por ejemplo, si los datos llegan lentamente desde el almacenamiento o el modelo está mal optimizado, pasar de A100 a H100 puede no dar el efecto esperado.

H200 para LLM: cuando decide la memoria

Fuente de la imagen: NVIDIA

H200 a menudo se percibe como una “H100 todavía más potente”, pero es más correcto verla de otra manera. Es una GPU donde el foco principal está en un mayor volumen y una mayor velocidad de memoria.

H200 tiene 141 GB de memoria HBM3e y un ancho de banda de 4,8 TB/s. NVIDIA también indica para H200 soporte de FP8 y factores de forma SXM/PCIe según la versión.

Por qué 141 GB son importantes para los LLM

Un gran volumen de memoria ayuda no solo a “ejecutar un modelo más grande”. Afecta a todo el escenario de trabajo:

• se pueden mantener más pesos en una sola GPU;
• es más fácil trabajar con contexto largo;
• se puede aumentar el batch;
• hay más espacio para la caché de atención;
• es más sencillo atender varios flujos de solicitudes;
• disminuye la probabilidad de tener que dividir el modelo de forma incómoda entre tarjetas.

Esto es especialmente importante para la inferencia de modelos grandes. En entrenamiento a menudo sigue siendo necesaria una arquitectura multi-GPU, pero en inferencia la memoria adicional en una sola GPU puede simplificar mucho la arquitectura y aumentar la densidad de servicio.

Dónde H200 es especialmente fuerte

Vale la pena considerar H200 para tareas donde H100 ya se queda limitada por memoria:

• inferencia de LLM grandes;
• RAG con documentos voluminosos;
• procesamiento de batches grandes;
• asistentes corporativos con una larga historia de diálogo;
• varios modelos o servicios en una misma plataforma GPU;
• escenarios donde es importante atender más solicitudes con el mismo volumen de rack.

RAG es importante por separado. En estos sistemas, el modelo no solo genera una respuesta, sino que recibe fragmentos adicionales de documentos, instrucciones, historial y contexto. Cuanto más largo sea el contexto, mayores serán los requisitos de memoria. Por eso H200 puede ser valiosa no “por imagen”, sino como una forma de reducir las restricciones al trabajar con grandes datos de entrada.

Cuándo H200 no es necesaria

No conviene elegir H200 automáticamente. Puede ser injustificadamente cara si:

• el modelo es pequeño;
• el contexto es corto;
• la carga es poco frecuente;
• la inferencia no se ve limitada por memoria;
• el proyecto solo está probando una hipótesis;
• el servidor no está diseñado para esa GPU;
• no se ha calculado la economía del proyecto.

Si A100 o H100 ya cubren la tarea con margen, H200 puede no dar una ventaja proporcional. Debe elegirse cuando el cálculo muestra que la memoria adicional y el ancho de banda realmente reducen el número de servidores, aceleran el procesamiento o disminuyen el coste por solicitud.

Qué elegir para distintos escenarios LLM

Esta tabla no sustituye a las pruebas. La elección final depende del modelo, la longitud del contexto, el formato de los pesos, el batch, el framework, los requisitos de latencia y la plataforma de servidor disponible.

Factor de forma y plataforma: dónde se cometen errores a menudo

Uno de los enfoques más arriesgados es elegir una GPU por sus características y luego buscar dónde instalarla. Para H100 y H200 esto es especialmente peligroso: las distintas versiones de las tarjetas requieren diferentes servidores, alimentación, refrigeración e interconexiones.

PCIe

Las tarjetas PCIe son más fáciles de integrar en servidores estándar. Normalmente es una vía más flexible si se necesita instalar una, dos o varias GPU sin pasar a una plataforma HGX/DGX especializada.

Ventajas de PCIe:

• mayor variedad de servidores;
• actualización más sencilla;
• mantenimiento más claro;
• es más fácil encontrar configuraciones compatibles;
• adecuado para muchas tareas de inferencia.

Limitaciones:

• menor densidad que en plataformas SXM;
• menos posibilidades de conexiones rápidas entre GPU;
• no siempre es la mejor opción para entrenar modelos grandes;
• hay que comprobar cuidadosamente la refrigeración, sobre todo para tarjetas de servidor pasivas.

SXM

SXM no es una “tarjeta normal” que se pueda instalar en cualquier servidor. Es un formato para sistemas GPU densos, donde varios aceleradores trabajan como una sola plataforma.

Ventajas de SXM:

• alta densidad de GPU;
• mejor conectividad entre tarjetas;
• adecuado para sistemas de 4/8 GPU;
• se aprovecha bien en entrenamiento y cargas LLM pesadas.

Limitaciones:

• requiere un chasis especializado;
• actualización más compleja;
• mayores requisitos de alimentación;
• mayores requisitos de refrigeración;
• normalmente mayor coste de entrada.

NVLink y NVSwitch

NVLink acelera el intercambio de datos entre GPU. NVSwitch ayuda a construir sistemas densos donde varias tarjetas necesitan intercambiar datos rápidamente dentro de un mismo servidor. En DGX H100/H200, por ejemplo, se utilizan ocho GPU; la versión H100 ofrece 640 GB de memoria GPU total y la versión H200, 1128 GB. El sistema también incluye NVSwitch y una potente plataforma de servidor. Se puede leer más en el documento de NVIDIA.

Esto es importante para:

• entrenamiento de modelos grandes;
• distribución del modelo entre varias GPU;
• alta utilización de un servidor;
• tareas donde las latencias entre GPU influyen en la velocidad final.

Para inferencia pequeña, NVLink puede no ser el factor principal. Pero si el modelo no cabe en una sola tarjeta o la carga está pensada para varias GPU, ahorrar en interconectores es peligroso.

Alimentación y refrigeración

Antes de comprar un servidor GPU hay que comprobar no solo si la tarjeta “entra”, sino todo el circuito de operación.

Lista mínima de comprobación:

1. ¿El servidor admite el factor de forma GPU necesario?
2. ¿Las fuentes de alimentación bastan para la carga pico?
3. ¿El chasis está diseñado para GPU de servidor pasivas?
4. ¿El flujo de aire es suficiente?
5. ¿La BIOS admite las tarjetas necesarias?
6. ¿Hay risers, cables y puentes necesarios?
7. ¿Se soportan las versiones necesarias de controladores?
8. ¿Hay espacio suficiente en el rack?
9. ¿Existe margen de alimentación eléctrica en la sala de servidores?
10. ¿Con qué rapidez se puede sustituir una tarjeta si falla?

H100 y H200 en configuraciones pesadas ya no son simplemente “comprar una tarjeta gráfica”. Es diseño de una plataforma GPU.

TCO: por qué la GPU más rápida no siempre es la más rentable

En la infraestructura LLM, el precio de la tarjeta es solo una parte de los costes. A veces una GPU más cara resulta más rentable porque procesa más solicitudes. Otras veces ocurre lo contrario: una tarjeta cara se queda infrautilizada y el proyecto podría funcionar tranquilamente en A100.

Qué incluye el coste total de propiedad

En el cálculo hay que tener en cuenta:

• el coste de la GPU;
• el coste del servidor;
• procesadores y memoria del sistema;
• red;
• almacenamiento;
• rack;
• alimentación;
• refrigeración;
• garantía;
• servicio;
• tiempo de inactividad;
• trabajo de los ingenieros;
• vida útil prevista.

Si solo se cuenta el precio de la GPU, la elección casi siempre estará distorsionada. Para el negocio, lo importante no es el precio de la tarjeta por sí solo, sino el coste del resultado útil.

Reacondicionado y disponibilidad

A100 suele ser interesante precisamente en escenarios reacondicionados. Para un piloto, una plataforma interna o inferencia moderada, puede ser más razonable que comprar de inmediato H100 o H200.

Pero aquí es importante comprobar:

• el estado del equipo;
• la garantía;
• la compatibilidad con el servidor;
• el origen de la tarjeta;
• las condiciones de sustitución;
• la reputación del proveedor.

Para algunos proyectos, una A100 reacondicionada puede dar más valor por cada euro de presupuesto que una H100 nueva. Especialmente si el equipo todavía no está seguro de la carga y no está listo para construir de inmediato una infraestructura cara.

Coste del tiempo de inactividad

Una configuración barata se vuelve cara si se detiene a menudo o tarda mucho en repararse. Para un servicio LLM en producción son importantes:

• componentes de repuesto;
• garantía;
• un SLA claro;
• monitorización;
• posibilidad de sustituir rápidamente la GPU;
• previsibilidad del suministro;
• soporte por parte del proveedor.

Si el servicio genera ingresos o es crítico para procesos internos, la inactividad puede costar más que la diferencia entre A100 y H100.

Densidad de GPU por unidad

H100 y H200 pueden ser más rentables que A100 si permiten atender más solicitudes con el mismo volumen de rack, alimentación y refrigeración. Esto es especialmente importante en centros de datos donde están limitados:

• el espacio en racks;
• la potencia disponible;
• el presupuesto térmico;
• el número de servidores;
• los puertos de red.

Pero la alta densidad solo se amortiza con alta utilización. Si la GPU trabaja unas pocas horas al día, una configuración cara puede no tener sentido.

Cómo tomar una decisión sin adivinar

Una buena elección de GPU no empieza con una tabla de características, sino con la descripción de la tarea.

El proceso puede ser así:

1. Definir el escenario: entrenamiento, fine-tuning, inferencia, RAG, procesamiento por lotes, plataforma compartida.
2. Evaluar el modelo: tamaño, formato de pesos, longitud del contexto.
3. Calcular cuánta memoria se necesitará para pesos, caché y batch.
4. Comprobar si la tarea cabe en una sola GPU.
5. Si no cabe, evaluar cuantización, partición del modelo o pasar a una GPU con más memoria.
6. Entender qué es más importante: latencia de respuesta o número de solicitudes por unidad de tiempo.
7. Comprobar si se necesita una combinación de varias GPU.
8. Elegir el factor de forma: PCIe, SXM, NVL.
9. Comprobar la compatibilidad del servidor.
10. Calcular el coste total de propiedad.
11. Probar el modelo real en una configuración parecida.

En esta etapa conviene mirar no solo GPU, sino también servidores con GPU NVIDIA, porque el rendimiento final depende de toda la plataforma.

Errores frecuentes al elegir GPU para LLM

Los problemas más habituales aparecen no por una mala tarjeta, sino por una elección incorrecta para la tarea.

Errores que conviene evitar:

• mirar solo el rendimiento pico;
• no calcular la memoria de vídeo;
• olvidar el contexto largo;
• no tener en cuenta la caché de atención;
• pensar que cualquier H100 es igual;
• confundir PCIe, SXM y NVL;
• comprar GPU sin comprobar compatibilidad con el servidor;
• subestimar la alimentación y la refrigeración;
• contar el precio de la tarjeta, pero no el tiempo de inactividad;
• comprar H200 donde basta A100;
• comprar A100 donde el proyecto ya requiere FP8 y alta densidad;
• no probar el modelo real antes de la compra.

También merece la pena hablar del “margen para el futuro”. Es útil si existe un crecimiento claro de la carga. Pero si el proyecto no sabe qué modelo se usará ni cuántas solicitudes habrá, una GPU demasiado cara puede convertirse no en una inversión, sino en presupuesto congelado.

Qué elegir al final

A100, H100 y H200 no se sustituyen por completo entre sí. Cada tarjeta tiene su zona de racionalidad.

A100 es una buena elección para pilotos, fine-tuning, inferencia moderada y proyectos LLM con presupuesto limitado. Es especialmente interesante si importan la disponibilidad, la madurez de la plataforma y la posibilidad de reducir el coste de entrada.

H100 es la elección para proyectos donde se necesita alta velocidad, una pila moderna, FP8 y una carga constante seria. Encaja bien para entrenamiento, fine-tuning e inferencia productiva si la plataforma de servidor permite aprovechar sus capacidades.

H200 es una opción para escenarios donde la principal limitación es la memoria: modelos grandes, contexto largo, RAG, batches grandes e inferencia densa. Su ventaja se nota especialmente donde 80–94 GB ya son pocos y 141 GB dan más libertad a la arquitectura del servicio.

La mejor GPU para LLM no es la más nueva ni la más cara. La mejor es la que permite alojar el modelo en memoria, da la velocidad necesaria, es compatible con el servidor y se amortiza en su escenario.