¿Cuánta memoria de vídeo se necesita para las redes neuronales?: 16, 24, 48, 80 o 96 GB

Para pruebas y modelos pequeños, normalmente bastan 16–24 GB de memoria de vídeo; para servicios de IA en producción y sistemas RAG suele ser más razonable mirar configuraciones de 48 GB, y para modelos grandes, contexto largo, alta carga y entornos de producción, 80–96 GB o un servidor con varias GPU. Pero no conviene elegir una tarjeta gráfica solo por la cantidad de memoria: el resultado depende del tamaño del modelo, el formato de almacenamiento, la longitud del contexto, el número de solicitudes simultáneas, la caché de atención, la RAM, los NVMe y el margen previsto para el crecimiento del proyecto.

La memoria de vídeo se ha convertido en uno de los parámetros principales al elegir una GPU para redes neuronales. En ella se cargan el modelo y los datos con los que la tarjeta gráfica trabaja en ese momento. Si la memoria no alcanza, el modelo puede no iniciarse, funcionar de forma inestable o perder velocidad de manera brusca.

Pero la pregunta “cuánta memoria de vídeo se necesita” es más compleja de lo que parece. Una misma tarjeta de 24 GB puede ser una opción normal para un prototipo y una solución débil para un servicio en el que decenas de usuarios envían consultas largas al mismo tiempo. Y 80 GB pueden ser excesivos para una prueba simple, pero necesarios para un modelo grande con contexto largo.

Al elegir, es importante mirar no un solo parámetro, sino todo el escenario:

• qué modelo hay que ejecutar;
• si solo se generarán respuestas o también habrá ajuste fino;
• cuántos usuarios trabajarán al mismo tiempo;
• qué tan largos serán los documentos que habrá que procesar;
• si se necesitará procesamiento por lotes de solicitudes;
• si el sistema seguirá creciendo en los próximos 6–12 meses;
• si es posible escalar aumentando el número de GPU;
• si el servidor tiene suficiente RAM, CPU y NVMe rápidos.

Si la tarea ya está clara, se pueden revisar directamente las GPU NVIDIA para redes neuronales adecuadas, pero primero conviene entender dónde termina el escenario de “simplemente ejecutar el modelo” y empieza una carga de servidor completa.

Qué es la memoria de vídeo y por qué es importante para las redes neuronales

La memoria de vídeo es la memoria ubicada en la propia tarjeta gráfica. Es más rápida que la RAM convencional y se encuentra cerca de los bloques de cómputo de la GPU. Para las redes neuronales esto es crítico: el modelo realiza una enorme cantidad de operaciones, y los datos deben llegar rápidamente a la GPU sin esperas constantes por parte del procesador o del disco.

En la memoria de vídeo suelen encontrarse:

• los pesos del modelo;
• la solicitud de entrada del usuario;
• los cálculos intermedios;
• la caché de atención;
• parte de los datos para procesamiento paralelo;
• búferes de servicio del entorno de software;
• datos necesarios para el entrenamiento o el ajuste fino.

Es importante entender que la memoria de vídeo no se necesita solo para el propio modelo. Incluso si el modelo “cabe” en 24 GB, eso no significa que vaya a funcionar correctamente en un servicio real. Hay que dejar espacio para el contexto, la caché, varias solicitudes, operaciones de servicio y un margen para picos imprevistos.

Hay otro error frecuente: confundir la memoria de vídeo con la memoria RAM del servidor. Si un servidor tiene 512 GB de RAM, eso no significa que el modelo pueda usarlos como 512 GB de memoria de vídeo. Una parte de los datos sí puede descargarse a la RAM o al disco, pero casi siempre será más lento. Para que una red neuronal funcione de forma estable, es más importante que la carga principal quepa precisamente en la memoria de la GPU.

Por qué no se debe elegir una GPU solo por la cantidad de memoria

La cantidad de memoria de vídeo es un parámetro importante, pero no el único. Dos tarjetas con los mismos 48 GB pueden diferir notablemente en velocidad, generación, consumo energético, soporte de formatos modernos de cómputo y comportamiento dentro del servidor.

Al elegir una GPU para redes neuronales hay que tener en cuenta:

• la generación de la arquitectura;
• el ancho de banda de la memoria;
• el tipo de memoria;
• el soporte de los formatos de cómputo necesarios;
• el consumo energético;
• la refrigeración;
• el factor de forma;
• la compatibilidad con el servidor;
• la posibilidad de instalar varias tarjetas;
• la velocidad de intercambio entre GPU.

Para una ejecución simple del modelo, lo más importante es que quepa en memoria. Para un servicio con muchos usuarios ya importan la latencia, el rendimiento y la estabilidad. Para el ajuste fino se necesitan no solo gigabytes, sino también rendimiento de cómputo. Para un servidor que trabaja 24/7, la alimentación, la refrigeración y la compatibilidad con el chasis son críticas.

Por eso 16, 24, 48, 80 y 96 GB no son una “escalera de potencia”, sino referencias para distintas clases de tareas.

Qué ocupa exactamente la memoria de vídeo

El consumo de memoria de vídeo se compone de varias partes. Si se tiene en cuenta solo el tamaño del modelo, el cálculo casi siempre será demasiado optimista.

Tamaño del modelo

Cuantos más parámetros tiene un modelo, más memoria se necesita para almacenarlo. Un modelo pequeño puede ejecutarse en una sola tarjeta de 16–24 GB, mientras que un modelo de lenguaje grande ya puede requerir 48, 80, 96 GB o varias GPU.

Pero no se puede mirar solo el número de parámetros. El consumo final también depende de cómo se almacena el modelo:

• en un formato más “pesado”;
• en un formato más compacto;
• con cuantización;
• con optimizaciones adicionales;
• considerando la longitud del contexto y el número de solicitudes.

La cuantización es una forma de almacenar el modelo de manera más compacta. En términos sencillos, el modelo empieza a ocupar menos memoria porque los números internos se registran con menos detalle. Esto ayuda a ejecutar modelos más grandes con menos VRAM, aunque a veces afecta a la calidad de las respuestas, la estabilidad o la velocidad.

Longitud del contexto

El contexto es la cantidad de información que el modelo tiene en cuenta al responder. Incluye la pregunta del usuario, el historial de la conversación, las instrucciones del sistema, los documentos encontrados y el texto ya generado.

Un contexto largo es especialmente importante para:

• chatbots;
• análisis de documentos;
• bases de conocimiento jurídicas y técnicas;
• asistentes de soporte;
• búsqueda en documentación corporativa;
• sistemas RAG.

RAG es un enfoque en el que el modelo responde no solo a partir de sus propios conocimientos, sino también teniendo en cuenta fragmentos encontrados en una base documental. La base de conocimiento completa normalmente no se encuentra en la memoria de vídeo, pero los fragmentos encontrados se añaden a la solicitud. Por eso el consumo de memoria crece no por la base en sí, sino por el aumento del contexto.

Por ejemplo, un modelo puede responder tranquilamente preguntas cortas en una sola tarjeta, pero empezar a chocar con el límite de memoria cuando a cada solicitud se le añaden varias páginas de documentación, el historial de conversación y una instrucción larga.

Número de solicitudes simultáneas

Un usuario y cien usuarios son modos de trabajo diferentes. Cuando el modelo atiende varias solicitudes al mismo tiempo, se necesita memoria no solo para los pesos del modelo, sino también para los cálculos paralelos.

En el consumo influyen:

• cuántas solicitudes se procesan simultáneamente;
• cuánto texto llega en la entrada;
• cuánto texto debe generar el modelo;
• si las solicitudes se agrupan en lotes;
• qué margen de memoria se reserva para los picos de carga.

El procesamiento por lotes ayuda a usar la GPU de forma más eficiente, pero aumenta el consumo de memoria de vídeo. Cuantas más solicitudes estén en proceso a la vez, más memoria se necesitará para los datos intermedios.

Caché de atención

Durante la generación de texto, el modelo almacena datos intermedios para no recalcular todo el texto anterior en cada paso. Estos datos suelen llamarse caché de atención.

Es especialmente importante para los modelos de lenguaje, porque crece junto con:

• la longitud del contexto;
• el número de solicitudes simultáneas;
• el tamaño del lote;
• la longitud de la respuesta;
• el número de usuarios.

Si no hay suficiente espacio para la caché, el servicio puede empezar a funcionar más lentamente. En la documentación de vLLM se indica que, cuando falta espacio para la caché, las solicitudes pueden ser expulsadas y recalculadas, y que reducir el número de solicitudes simultáneas o el tamaño del lote disminuye el consumo de memoria.

Cuánta memoria de vídeo se necesita: matriz de elección

Esta tabla no significa que los límites sean siempre rígidos. La optimización puede permitir ejecutar un modelo con menos memoria. Pero para un servicio de trabajo conviene calcular no el “mínimo en el que el modelo arranca una vez”, sino una configuración que resista solicitudes reales, contexto largo, actualización del modelo y crecimiento de la carga.

16 GB: para pruebas, aprendizaje y modelos pequeños

Fuente de la imagen: NVIDIA T4: un ejemplo de GPU compacta de 16 GB para inferencia, pruebas y pequeñas cargas de IA.

16 GB de memoria de vídeo son el nivel inicial para trabajar con redes neuronales. Este volumen es adecuado si se necesitan estudiar herramientas, ejecutar modelos pequeños, probar ideas y trabajar con tareas sin alta carga.

Con 16 GB se pueden considerar:

• experimentos de aprendizaje;
• modelos de lenguaje pequeños;
• parte de las tareas de visión por computadora;
• generación de texto simple;
• pruebas de herramientas locales de IA;
• verificación del pipeline antes de trasladarlo a un servidor más potente.

Pero el margen aquí es pequeño. Las limitaciones aparecen rápidamente si hay contexto largo, varios usuarios o ajuste fino. Para un sistema RAG serio, 16 GB suelen ser una opción ajustada: incluso si el modelo se inicia, la memoria puede agotarse por la caché, los documentos y las solicitudes paralelas.

Conviene elegir 16 GB si la tarea es experimental y está claro que, cuando el proyecto crezca, habrá que cambiar la configuración.

24 GB: más cómodo para prototipos, pero sin gran margen

Fuente de la imagen: NVIDIA A10: un ejemplo de GPU de 24 GB para prototipos, herramientas de IA y cargas de servidor mixtas.

24 GB es una capacidad popular para prototipos. Ofrece más libertad que 16 GB y permite trabajar con un conjunto más amplio de modelos. Esta opción es adecuada para equipos que validan una hipótesis, preparan una demostración, prueban un asistente interno o lanzan un servicio pequeño.

24 GB pueden servir para:

• modelos pequeños y parte de los medianos;
• RAG de prueba;
• un asistente local para el equipo;
• experimentos con ajuste fino compacto;
• procesamiento de pequeños conjuntos de documentos;
• un primer entorno para API.

Pero 24 GB tienen una limitación evidente: poco margen. Hoy el modelo cabe, y mañana aparecen documentos largos, más usuarios, otro formato de modelo o la necesidad de mantener varias tareas al mismo tiempo.

Hay que tener especial cuidado con 24 GB en tres casos:

1. Se planifica producción, no solo pruebas.
2. Se necesita contexto largo.
3. Se espera crecimiento del número de usuarios.

En estos escenarios, 24 GB pueden convertirse en una solución intermedia que habrá que reemplazar rápidamente.

48 GB: mínimo de trabajo para muchas tareas de IA

Fuente de la imagen: NVIDIA L40S: un ejemplo de GPU de servidor de 48 GB para tareas de IA de trabajo, RAG, inferencia y ajuste fino.

48 GB son una capacidad más práctica para proyectos corporativos de IA. A menudo merece la pena considerarla como un mínimo de trabajo si la tarea va más allá de los experimentos personales.

Con 48 GB ya se pueden construir escenarios más seguros:

• inferencia de modelos de clase media;
• RAG sobre documentos corporativos;
• procesamiento de consultas largas;
• ajuste fino de modelos pequeños y medianos;
• prototipos con perspectiva de producción;
• servicios para un equipo o departamento interno;
• procesamiento de imágenes, vídeo y documentos.

Por ejemplo, NVIDIA L40S 48 GB puede considerarse para cargas de IA de trabajo donde importan no solo los gigabytes de memoria, sino también la ejecución en servidor, el rendimiento y el margen para distintos tipos de tareas.

48 GB no convierten una sola tarjeta en una solución universal para cualquier modelo, pero ofrecen mucho más espacio de maniobra. Aquí ya es más fácil reservar margen para la caché de atención, un contexto más largo y varias solicitudes paralelas.

Las limitaciones empiezan cuando aparecen modelos de lenguaje grandes, una alta carga paralela o requisitos de contexto largo. En esos casos, una sola tarjeta de 48 GB puede no ser suficiente, sobre todo si el servicio debe funcionar de forma estable para muchos usuarios.

80 GB: modelos grandes, contexto largo y producción

Fuente de la imagen: NVIDIA H100: un ejemplo de GPU de clase 80 GB para cargas de IA pesadas, modelos grandes e inferencia en producción.

80 GB es el nivel para cargas de IA pesadas. Esta capacidad se necesita cuando el modelo es más grande, el contexto es más largo, hay más usuarios y el servicio debe funcionar de forma estable.

Conviene considerar 80 GB si se necesita:

• ejecutar modelos de lenguaje grandes;
• atender diálogos largos;
• trabajar con documentos grandes;
• crear RAG para una base de conocimiento corporativa;
• procesar muchas solicitudes;
• realizar ajuste fino de modelos;
• mantener margen para el crecimiento de la carga.

Para estas tareas encaja una clase de aceleradores como NVIDIA H100 80 GB. Pero incluso 80 GB no significan que se pueda ignorar el resto del sistema. Si los datos se leen lentamente desde el disco, falta RAM o la CPU no alcanza a preparar las solicitudes, la tarjeta gráfica permanecerá infrautilizada.

80 GB son especialmente útiles cuando se necesita no solo “ejecutar el modelo”, sino garantizar un funcionamiento predecible:

• con varios usuarios;
• con contexto largo;
• con una cola de solicitudes;
• con control de latencia;
• con margen para actualizar el modelo.

96 GB: máximo margen en una GPU profesional

Fuente de la imagen: RTX PRO 6000 Blackwell Server Edition: un ejemplo de GPU profesional con 96 GB de memoria de vídeo para escenarios de IA exigentes.

96 GB de memoria de vídeo son una opción para tareas en las que es importante tener el máximo margen en una sola tarjeta. Resultan útiles para inferencia pesada, modelos grandes, escenarios multimodales, trabajo con grandes volúmenes de datos y servicios corporativos de IA en los que 80 GB ya no bastan o se quiere reducir el riesgo de topar con el límite de memoria.

Esta capacidad puede ser necesaria si:

• el modelo es grande y cabe mal en menos memoria;
• el contexto es largo;
• hay muchas solicitudes;
• existen varios tipos de tareas en un mismo servidor;
• se planifica el crecimiento del modelo;
• se quiere reducir la dependencia de distribuir el modelo entre varias GPU.

La página oficial de NVIDIA RTX PRO 6000 Blackwell Server Edition indica 96 GB de memoria GDDR7 con ECC y posiciona la tarjeta para grandes tareas de IA y visualización.

Pero 96 GB no son una frontera mágica. Para entrenar modelos grandes desde cero, una sola tarjeta puede seguir siendo insuficiente. En estas tareas ya importa no solo la cantidad de VRAM, sino toda la arquitectura: varias GPU, la conexión entre ellas, RAM, NVMe, red, alimentación, refrigeración y pila de software.

Cuánta memoria se necesita para distintos escenarios

Ejecución de un modelo ya preparado

La ejecución normal de un modelo ya preparado requiere menos memoria que el entrenamiento. El consumo principal corresponde a los pesos del modelo, el contexto, la caché de atención y los búferes de servicio.

Las referencias son las siguientes:

• 16 GB: modelos pequeños y pruebas;
• 24 GB: prototipos más cómodos;
• 48 GB: servicios de trabajo y modelos de clase media;
• 80–96 GB: modelos grandes, contexto largo, alta carga.

Es importante no confundir una prueba local con un servicio. Ejecutar un modelo para una sola solicitud es una cosa. Atender usuarios mediante API, mantener el historial de diálogo y procesar documentos largos es otra completamente distinta.

RAG y base de conocimiento

Un sistema RAG no se compone solo del modelo. Normalmente también hay una base de documentos, búsqueda, división de textos en fragmentos, índices, API y lógica de aplicación. No todo esto está en la memoria de vídeo, pero los fragmentos encontrados se añaden a la solicitud del modelo.

Por eso el consumo de VRAM depende de varios factores:

• cuántos fragmentos se añaden al contexto;
• qué longitud tienen esos fragmentos;
• cuántos usuarios acceden al sistema;
• cuánto tiempo se conserva el historial de diálogo;
• qué volumen de caché de atención se necesita;
• qué margen de memoria se reserva para los picos.

Para un RAG pequeño de prueba pueden bastar 24 GB. Para un sistema de trabajo con documentos corporativos, es más razonable mirar 48 GB o más. Si hay muchos usuarios, documentos largos y un modelo grande, ya se necesita una clase de 80–96 GB o varias GPU.

Ajuste fino

El ajuste fino consume más memoria que la ejecución normal del modelo. Además de los pesos del modelo, se necesitan datos para actualizar los parámetros, valores intermedios, el optimizador y estructuras de servicio.

De forma simplificada, se puede orientar así:

• 24 GB: experimentos con modelos pequeños y métodos económicos;
• 48 GB: mínimo más práctico para tareas de trabajo;
• 80–96 GB: ajuste fino serio, modelos grandes y margen para estabilidad.

No conviene formular la tarea como “qué modelo máximo puedo meter en la memoria”. Para el ajuste fino es más importante que el proceso no se caiga, no exija demasiados compromisos y deje margen para los datos.

Entrenamiento desde cero

El entrenamiento desde cero es el escenario más pesado. Para modelos grandes, una sola tarjeta gráfica casi nunca es una solución completa. Aquí se necesitan varias GPU, intercambio rápido entre ellas, gran cantidad de RAM, NVMe rápidos y un almacenamiento de datasets bien diseñado.

En este caso, la pregunta “16, 24, 48, 80 o 96 GB” se vuelve demasiado estrecha. Hay que evaluar todo el servidor o clúster:

• cuántas GPU se necesitan;
• cómo están conectadas entre sí;
• si hay suficiente RAM;
• si el almacenamiento soporta el flujo de datos;
• cómo está organizada la red;
• si la configuración se puede escalar.

Si la tarea es entrenar modelos grandes desde cero, la cantidad de memoria de una sola GPU es importante, pero no es lo único que decide el resultado.

Procesamiento por lotes de solicitudes

El procesamiento por lotes consiste en agrupar varias solicitudes para cargar la GPU de manera más eficiente. Es útil para un servicio con muchos usuarios o muchas tareas.

Ventajas:

• mayor rendimiento;
• mejor utilización de la GPU;
• procesamiento más eficiente de la cola.

Desventajas:

• mayor consumo de memoria de vídeo;
• gestión de latencia más compleja;
• mayores requisitos para la caché de atención;
• necesidad de margen para solicitudes pico.

Para una herramienta interna simple se puede empezar con 24–48 GB. Para un servicio con un gran número de solicitudes, es mejor mirar de antemano 80 GB, 96 GB o multi-GPU.

Qué influye en el consumo de memoria de vídeo

Esta tabla es útil porque muestra que la VRAM no se consume por una sola razón. A veces el modelo es pequeño, pero el contexto es largo. A veces el contexto es corto, pero hay muchos usuarios. A veces el modelo cabe, pero el ajuste fino ya no pasa. Por eso, al elegir, hay que calcular el escenario completo.

Cuándo una sola tarjeta gráfica ya no es suficiente

Una sola GPU deja de ser suficiente no solo cuando el modelo físicamente no cabe en la memoria. Hay otras razones para pasar a varias tarjetas:

• se necesita atender a más usuarios;
• hay que reducir la latencia;
• el modelo es demasiado grande para una sola GPU;
• se necesita contexto largo;
• se planifica entrenamiento o ajuste fino;
• hay que separar distintas tareas entre tarjetas;
• se necesita margen para el crecimiento.

Al mismo tiempo, es importante recordar que 4 tarjetas de 24 GB no son lo mismo que una tarjeta de 96 GB.

Cada GPU tiene su propia memoria de vídeo. En algunas tareas, el modelo puede distribuirse entre varias tarjetas, pero esto requiere soporte por parte de la pila de software. Aparecen costes adicionales de intercambio entre GPU, sincronización y distribución de datos.

A veces varias tarjetas de menor capacidad son más rentables. Por ejemplo, si hay que atender en paralelo varias tareas independientes. Pero si el modelo debe trabajar completo con un contexto grande, una memoria mayor en una sola tarjeta puede ser más cómoda y estable.

Dónde empiezan las limitaciones de CPU, RAM y NVMe

La memoria de vídeo suele discutirse como el recurso principal, pero un servidor para redes neuronales no se compone solo de una GPU. El cuello de botella puede estar en cualquier parte: procesador, RAM, unidades de almacenamiento, red, alimentación o refrigeración.

Memoria RAM

La RAM se necesita para:

• cargar modelos y datos;
• preparar datasets;
• ejecutar la aplicación;
• gestionar colas de solicitudes;
• mantener cachés;
• mantener índices;
• trabajar con bases de datos;
• procesar documentos.

Para un sistema RAG, la RAM convencional es especialmente importante. Junto al modelo pueden funcionar una base vectorial, procesadores de archivos, API, cola de tareas y sistema de logs. Si hay poca RAM, el servidor empezará a recurrir al disco con más frecuencia, y eso empeorará la velocidad.

Procesador

La CPU puede convertirse en un cuello de botella durante la preparación de datos. Participa en la tokenización, el procesamiento de documentos, el funcionamiento de la API, el enrutamiento de solicitudes y la atención de servicios externos.

Si el procesador es débil, la GPU puede quedarse esperando datos. Como resultado, una tarjeta gráfica cara no se utilizará por completo.

NVMe

Los NVMe rápidos se necesitan para almacenar:

• modelos;
• datasets;
• índices;
• archivos temporales;
• logs;
• resultados intermedios.

Un almacenamiento lento molesta especialmente durante el entrenamiento, el procesamiento de grandes conjuntos de datos y el trabajo con documentos. Formalmente, el modelo puede caber en la memoria de vídeo, pero todo el pipeline se ralentizará por la lectura de datos.

Red y conexión entre GPU

Para una sola tarjeta, no es el factor principal. Pero si hay varias GPU en el servidor o varios nodos, la velocidad de intercambio se vuelve crítica. Cuanto más grande sea el modelo y mayor la carga, más importante será cómo las GPU se transmiten datos entre sí.

Errores típicos al elegir memoria de vídeo

Elegir una GPU solo por la cantidad de memoria

Una gran cantidad de VRAM no garantiza buen rendimiento. Hay que tener en cuenta la generación de la tarjeta, la velocidad de la memoria, la refrigeración, la alimentación, el factor de forma y la compatibilidad con el servidor.

Calcular solo la ejecución del modelo

El modelo puede iniciarse, pero funcionar mal. En un servicio real se necesita margen para el contexto, la caché, solicitudes paralelas y picos de carga.

Confundir la memoria de una tarjeta con la memoria total del servidor

2 × 48 GB no siempre equivalen a una sola GPU de 96 GB. Para algunas tareas puede ser cómodo, pero la memoria de varias tarjetas no siempre funciona como un único pool común.

No tener en cuenta el crecimiento del modelo

Hoy bastan 24 GB. Después aparece un modelo más pesado, contexto largo, más usuarios y la necesidad de ajuste fino. Como resultado, la configuración se queda pequeña rápidamente.

Olvidarse de la caché de atención

Es una causa frecuente de problemas inesperados. El modelo parece caber, pero durante diálogos largos o solicitudes paralelas la memoria se agota.

Ahorrar en RAM y NVMe

La GPU puede ser potente, pero un almacenamiento débil o falta de RAM arruinarán el rendimiento general.

Elegir una tarjeta de consumo para carga de servidor

No todas las tarjetas gráficas son adecuadas para trabajar 24/7. En un servidor importan la refrigeración, la alimentación, el soporte, el factor de forma y la estabilidad bajo carga constante.

Cómo elegir la cantidad de memoria de vídeo

Antes de comprar, conviene seguir una breve lista de verificación.

1. Definir la tarea: ejecución del modelo, RAG, ajuste fino, entrenamiento desde cero o servicio para usuarios.
2. Entender la clase del modelo: pequeño, mediano o grande.
3. Evaluar la longitud del contexto.
4. Calcular el número esperado de solicitudes simultáneas.
5. Decidir si se necesita margen para crecimiento.
6. Comprobar si basta una sola GPU.
7. Evaluar RAM, CPU, NVMe, alimentación y refrigeración.
8. Comparar una tarjeta potente con varias GPU.
9. Comprobar qué tan fácil será escalar el servidor.
10. Elegir no la opción mínima, sino una configuración estable.

Las referencias pueden resumirse así:

• 16 GB: pruebas, aprendizaje, modelos pequeños;
• 24 GB: prototipos y primeros experimentos;
• 48 GB: opción de trabajo para muchas tareas de IA;
• 80 GB: modelos grandes, contexto largo, producción;
• 96 GB: máximo margen en una GPU profesional.

Qué elegir al final

Si la tarea es educativa o experimental, se puede empezar con 16–24 GB. Esto basta para familiarizarse con las herramientas, validar una idea y ejecutar modelos pequeños.

Si se necesita un servidor de trabajo para RAG, procesamiento de documentos, un asistente interno, inferencia y un ajuste fino pequeño, es más razonable mirar 48 GB. Esta capacidad ofrece margen y evita tener que pelear constantemente por cada gigabyte.

Si se planifica un modelo grande, contexto largo, muchos usuarios, API o producción estable, conviene considerar 80 GB. Ya es una clase para carga seria, donde importa no solo ejecutar el modelo, sino soportar escenarios reales.

Si se necesita el máximo margen en una sola GPU, merece la pena mirar 96 GB. Es útil para inferencia pesada, modelos multimodales, servicios corporativos complejos y tareas donde varias tarjetas de menor capacidad resultan menos cómodas.

Y si se trata de entrenar modelos grandes desde cero o de un servicio de IA de alta carga, la pregunta debe plantearse de forma más amplia: no “cuánta memoria de vídeo tiene una tarjeta”, sino “qué servidor o clúster soportará el modelo, los datos, los usuarios y el crecimiento de la carga”.