Para desarrollo, modelos de lenguaje pequeños y cargas RAG moderadas, será suficiente un servidor convencional de la serie R con una o dos tarjetas gráficas. Si necesita tres o cuatro aceleradores PCIe potentes, conviene considerar el R760xa; para cinco u ocho tarjetas, el XE7740 o el XE7745. Los modelos grandes, el ajuste fino intensivo y el entrenamiento con intercambio constante de datos entre ocho GPU requieren el XE9680, el XE9780 o el XE9785. Sin embargo, un servidor no debe elegirse únicamente por el número de tarjetas gráficas: primero se calculan la VRAM necesaria, la longitud del contexto y la concurrencia; después se comprueban la CPU, la RAM, las líneas PCIe, el almacenamiento NVMe, la red, la alimentación y la refrigeración.
LLM significa modelo de lenguaje grande; la inferencia es su ejecución para generar una respuesta; RAG es la generación combinada con la búsqueda en datos corporativos; y VRAM es la memoria del acelerador gráfico. La información sobre los modelos está actualizada a julio de 2026; antes de realizar el pedido, vuelva a comprobar la matriz de compatibilidad de Dell.
Dell PowerEdge XE servers for AI
Empiece por la carga de trabajo
El término «servidor de IA» puede referirse a sistemas con perfiles de consumo de recursos muy diferentes.
Inferencia de LLM
Para ejecutar un modelo ya preparado son importantes los siguientes factores:
- el tamaño del modelo y la precisión de almacenamiento de los pesos;
- la longitud del contexto;
- el número de solicitudes simultáneas;
- la velocidad de respuesta requerida;
- el tiempo admisible hasta el primer token.
Un modelo puede funcionar de forma estable en una prueba con un solo usuario y agotar la memoria de vídeo con decenas de conversaciones simultáneas. Por eso, el servidor no puede elegirse únicamente a partir del resultado de una ejecución local aislada.
RAG
En un sistema RAG, el acelerador GPU solo se ocupa de una parte de la cadena. El flujo de trabajo también incluye la ingesta de documentos, la creación de embeddings, la búsqueda, el reranking y el procesamiento de metadatos. El cuello de botella puede estar en la CPU, la RAM, el almacenamiento NVMe o la red. Una GPU más potente no acelerará el sistema si la base de datos vectorial lee el índice lentamente.
Ajuste fino y aprendizaje automático
El ajuste fino eficiente en parámetros modifica solo una pequeña parte del modelo y puede ejecutarse en una o varias GPU PCIe. El ajuste fino completo requiere mucha más memoria porque, además de los pesos, se almacenan los gradientes, los estados del optimizador y las activaciones intermedias.
Visión artificial
Para las cargas de vídeo hay que tener en cuenta el número de flujos, la resolución, el códec, la profundidad del archivo y la latencia. Con decenas de cámaras, la red y el subsistema de grabación pueden limitar el sistema más que la GPU.
| Carga de trabajo | Principal recurso limitante | Cuello de botella secundario habitual | Clase PowerEdge adecuada |
|---|---|---|---|
| Inferencia a pequeña escala | VRAM de una GPU | CPU y red | R750, R760, R770 |
| Inferencia en producción | VRAM y concurrencia | Comunicación entre GPU | R760xa, XE7740, XE7745 |
| RAG | Generación y búsqueda | RAM, NVMe, red | R760, R770, R760xa |
| Ajuste fino | VRAM y comunicación entre GPU | RAM y almacenamiento | R760xa, XE7740, XE7745 |
| Entrenamiento a gran escala | Interconexión de ocho GPU | Red y alimentación | XE9680, XE9780, XE9785 |
| Visión artificial | Rendimiento de la GPU | Flujos de vídeo y almacenamiento | R760xa, XE7740, XE7745 |
Estas son clases de plataformas, no configuraciones listas para usar. Por ejemplo, un sistema RAG grande puede requerir nodos separados para generación, búsqueda y almacenamiento.
Un servidor de IA es toda la plataforma
La GPU realiza operaciones matriciales, pero su utilización depende de la rapidez con la que los demás componentes le suministran datos. Un acelerador caro puede permanecer inactivo debido a un almacenamiento lento, un número insuficiente de líneas PCIe o un procesamiento deficiente por parte de la CPU.
GPU y memoria de vídeo
La potencia de cálculo y la capacidad de VRAM son características diferentes. Una tarjeta rápida de 24 GB puede no ejecutar una carga que sí cabe en una GPU más lenta con 48 o 96 GB; al mismo tiempo, para modelos pequeños, una tarjeta gráfica más rápida puede resultar más eficiente que otra más lenta con mayor cantidad de memoria.
También debe tenerse en cuenta que la memoria de vídeo se utiliza para:
- los pesos del modelo;
- la caché del contexto ya procesado;
- los resultados intermedios;
- los búferes de servicio;
- los lotes de solicitudes simultáneas;
- los datos adicionales necesarios para el ajuste fino.
Por tanto, comparar las tarjetas solo por teraflops —o solo por gigabytes— no es suficiente.
CPU y RAM
Los procesadores se encargan de la tokenización, el procesamiento de documentos, parte de las operaciones de las bases de datos y los servicios de contenedores. El número de núcleos no sustituye a la frecuencia, el ancho de banda de memoria ni la correcta localidad de los dispositivos.
Según el chasis, puede considerar servidores con Intel Xeon o servidores con AMD EPYC. La plataforma de procesador influye en el número de núcleos, los canales de memoria y las líneas PCIe, pero debe elegirse junto con la GPU, no de forma independiente.
La RAM es necesaria para cargar el modelo y la base de datos vectorial, procesar datos y ejecutar servicios auxiliares. No existe una regla según la cual la memoria del sistema deba duplicar la capacidad de VRAM: hay que calcular las necesidades de todos los componentes y dejar margen.
PCIe y topología
El número de ranuras físicas no equivale al número de conexiones a pleno ancho de banda. Las GPU, las tarjetas de red y las unidades NVMe comparten líneas PCIe, y algunas ranuras pueden funcionar con un ancho de enlace menor.
En un sistema de dos sockets, es importante saber a qué CPU está conectada cada tarjeta. Si los datos están en la memoria asociada a un procesador y la GPU utiliza las líneas PCIe del otro, el tráfico atraviesa la interconexión entre sockets. Por eso hay que comprobar la arquitectura y la configuración NUMA, la disposición de los risers, el ancho de las líneas y la localidad de la memoria.
Cómo calcular la memoria de vídeo necesaria
Una primera estimación de la memoria ocupada por los pesos del modelo es:
memoria de los pesos ≈ número de parámetros × tamaño de cada parámetro.
Valores orientativos:
- representación de 16 bits: aproximadamente 2 bytes por parámetro;
- representación de 8 bits: aproximadamente 1 byte por parámetro;
- representación de 4 bits: teóricamente unos 0,5 bytes por parámetro.
La necesidad real es mayor debido a los datos auxiliares. Un modelo de 70.000 millones de parámetros en formato de 16 bits necesita unos 140 GB solo para los pesos y no cabe en una única tarjeta con 80–96 GB de VRAM.
La cuantización reduce el consumo de memoria, pero puede afectar a la precisión, la velocidad de determinadas operaciones y la compatibilidad. No puede suponerse que convertir cualquier modelo a 4 bits produzca siempre un resultado igual de aceptable.
Contexto y concurrencia
Durante la generación, el sistema almacena información sobre el texto que ya ha procesado para no tener que volver a calcularlo en cada paso. El tamaño de esta caché aumenta con la longitud del contexto, el número de capas y el número de secuencias simultáneas. Por tanto, pasar de 8.000 tokens a 32.000–128.000 puede cambiar considerablemente los requisitos de VRAM. NVIDIA considera la caché de contexto una de las principales limitaciones de la inferencia: reducirla permite atender solicitudes más largas y lotes mayores.
Varias GPU
Cuatro tarjetas de 48 GB proporcionan físicamente 192 GB de VRAM, pero la memoria no se convierte en un único conjunto rápido compartido. El software debe dividir el modelo, y después las distintas partes del cálculo intercambian datos mediante PCIe, NVLink o NVSwitch.
El resultado depende de:
- el método de partición del modelo;
- la cantidad de datos intercambiados en cada paso;
- la velocidad de la interconexión;
- la topología de las GPU y las CPU;
- la compatibilidad con la ejecución distribuida.
Una configuración de producción necesita margen para contextos más largos, mayor concurrencia, actualizaciones del modelo y procesos de servicio.
PCIe y HGX/SXM: ¿cuál es la diferencia?
Los aceleradores PCIe son adecuados para la mayoría de los sistemas de inferencia, RAG, visión artificial y ajuste fino eficiente en parámetros. Pueden instalarse individualmente, seleccionarse según el presupuesto y sustituirse por separado.
La limitación aparece cuando un mismo modelo intercambia datos de forma continua entre varias tarjetas. Añadir GPU no garantiza un aumento proporcional del rendimiento, porque parte del tiempo se dedica a transferir datos a través de PCIe.
En las plataformas HGX, los aceleradores están conectados mediante NVLink y NVSwitch. Esta arquitectura es más adecuada para el entrenamiento y los modelos grandes distribuidos entre ocho GPU. Sin embargo, es más cara, consume más energía y requiere una infraestructura de refrigeración apropiada.
Ocho tarjetas PCIe y ocho aceleradores HGX no son equivalentes. PCIe puede ser más racional para instancias independientes de modelos; para un único modelo distribuido entre todas las tarjetas, una interconexión rápida es más importante.
Qué plataformas Dell PowerEdge considerar
Los servidores Dell para IA pueden dividirse en sistemas estándar de la serie R, el R760xa optimizado para GPU y las plataformas XE de alta densidad.
R750, R760 y R770
El PowerEdge R750 es adecuado para laboratorios, desarrollo, procesamiento de imágenes e inferencia moderada. Al comprar un servidor reacondicionado, hay que comprobar el kit de habilitación para GPU: un chasis estándar puede no incluir los risers, el deflector de aire o las fuentes de alimentación necesarios.
El PowerEdge R760 es un servidor 2U de propósito general de 16.ª generación para una o dos GPU, adecuado para RAG y entornos de trabajo de ciencia de datos. Sin embargo, no sustituye al R760xa cuando se necesitan cuatro aceleradores potentes.
El R760xa es una plataforma especializada diseñada para cargas de GPU. Según la configuración, admite hasta cuatro tarjetas de doble ancho de hasta 400 W o hasta doce aceleradores de ancho simple. La plataforma está destinada a entrenamiento, inferencia, analítica y estaciones de trabajo virtuales.
El PowerEdge R770 es una plataforma de propósito general de 17.ª generación. Hay configuraciones con seis GPU de ancho simple o dos de doble ancho. Debe tenerse en cuenta que Dell limita la potencia de las H200 NVL y RTX PRO 6000 a 450 W y establece requisitos adicionales para el sistema operativo, el kernel, los risers y la refrigeración.
XE7740 y XE7745
Los XE7740 y XE7745 son plataformas 4U diseñadas para una alta densidad de GPU PCIe. La primera utiliza procesadores Intel Xeon 6; la segunda, AMD EPYC. Constituyen una clase intermedia entre el R760xa y los sistemas HGX.
El XE7740 admite hasta ocho tarjetas PCIe Gen5 x16 de doble ancho y hasta 600 W, o hasta dieciséis tarjetas de ancho simple de hasta 75 W. Es adecuado para inferencia en producción, ajuste fino, procesamiento de vídeo y varios modelos independientes.
XE9680, XE9780 y XE9785
El XE9680 es una plataforma 6U con ocho aceleradores NVIDIA H100/H200, AMD MI300X o Intel Gaudi 3, según la configuración. Está diseñado para entrenamiento, modelos grandes e informática de alto rendimiento.
Los XE9780 y XE9785 pertenecen a una nueva generación de sistemas refrigerados por aire con ocho aceleradores estrechamente interconectados. El XE9780 utiliza procesadores Intel Xeon 6 y NVIDIA HGX B200/B300, mientras que el XE9785 utiliza AMD EPYC. Dell posiciona esta clase para entrenamiento, inferencia a gran escala y clústeres de IA.
| Plataforma | Configuración GPU típica | Cargas adecuadas | Limitaciones |
|---|---|---|---|
| R750 | Número moderado de tarjetas de generaciones anteriores | Desarrollo, modelos pequeños, visión artificial | PCIe Gen4; depende del kit de habilitación para GPU |
| R760 | Una o dos GPU potentes | RAG, desarrollo, inferencia | Menor densidad que el R760xa |
| R760xa | Hasta cuatro GPU de doble ancho | Inferencia, ML, ajuste fino | Limitaciones de potencia y refrigeración en 2U |
| R770 | Hasta dos GPU de doble ancho o seis de ancho simple | Inferencia empresarial moderna | Las tarjetas de alta potencia pueden tener límites de TDP |
| XE7740/XE7745 | Hasta ocho GPU PCIe potentes | Inferencia a gran escala, visión artificial, ajuste fino | Sin módulo HGX compartido |
| XE9680 | Ocho aceleradores H100/H200, MI300X o Gaudi 3 | LLM grandes, entrenamiento, HPC | Altos requisitos de alimentación |
| XE9780/XE9785 | Ocho aceleradores de nueva generación | Entrenamiento e inferencia a gran escala | Requiere infraestructura preparada |
La compatibilidad con GPU depende de los risers, las unidades, las tarjetas de red, los ventiladores y las fuentes de alimentación. El nombre del modelo del servidor por sí solo no confirma la compatibilidad.
Cómo elegir PowerEdge para una carga concreta
LLM pequeños y desarrollo
Para modelos de 7.000–14.000 millones de parámetros y un asistente interno para un equipo pequeño, suele bastar una GPU con suficiente VRAM. Si el presupuesto es prioritario, puede considerar el R750. Para una infraestructura nueva, resulta más útil comparar los PowerEdge de 16.ª generación y los PowerEdge de 17.ª generación.
Dos tarjetas más débiles no siempre son más útiles que una sola GPU con más VRAM y/o RAM adicional y almacenamiento NVMe rápido. Un modelo que funciona en un único acelerador es más fácil de configurar, porque el uso de varias GPU requiere compatibilidad por parte de la aplicación y suele estar limitado por la interconexión.
Inferencia en producción
El servidor debe elegirse según tres indicadores:
- si el modelo cabe en la VRAM junto con la caché de contexto;
- cuántas solicitudes se procesan simultáneamente;
- qué latencia es aceptable.
El R770 es adecuado para una o dos GPU potentes; el R760xa, para tres o cuatro. Cinco u ocho tarjetas PCIe y varios modelos independientes apuntan al XE7740/XE7745. Si un único modelo grande se distribuye entre todos los aceleradores, los XE9680/XE9780/XE9785 son más adecuados.
RAG
Un sistema RAG debe diseñarse como un conjunto de servicios. Hay que evaluar por separado el modelo generativo, los embeddings, el reranking, la base de datos vectorial, el procesamiento de documentos y el almacenamiento persistente.
En un proyecto de tamaño medio, la generación puede ejecutarse en un R760 o R770, mientras que la base de datos y la indexación funcionan en un nodo independiente con gran capacidad de RAM y almacenamiento NVMe rápido.
Un único R760xa está justificado cuando la compacidad y la simplicidad son importantes, pero la indexación no debe competir con la generación por los recursos de CPU, RAM y almacenamiento.
Ajuste fino
El ajuste fino eficiente en parámetros de modelos pequeños y medianos puede realizarse en el R760xa. El XE7740/XE7745 es adecuado para varias GPU potentes y grandes conjuntos de datos. El ajuste fino completo de un modelo grande requiere memoria para los gradientes y los estados del optimizador, por lo que los XE9680/XE9780/XE9785, con comunicación rápida entre aceleradores, ofrecen una arquitectura más adecuada.
Visión artificial
El R760xa suele ser suficiente para el procesamiento por lotes. Con un gran número de flujos independientes, el XE7740/XE7745 permite distribuir las cámaras o los modelos entre las GPU. Antes de realizar el pedido, determine el número de flujos, la resolución, el códec, la latencia requerida, el periodo de conservación del archivo, la carga de la CPU y el ancho de banda de la red.
En algunos casos, varios nodos menos densos situados cerca de las fuentes de vídeo pueden ser más eficientes que un único servidor central, porque no es necesario transportar todo el flujo a través de la red compartida.
IA privada empresarial
La gestión y la tolerancia a fallos son importantes en un sistema empresarial cerrado. iDRAC y OpenManage proporcionan control remoto, actualización centralizada del firmware y telemetría. Conviene separar los entornos de producción y experimentación para que las actualizaciones de modelos y bibliotecas no afecten al servicio operativo.
Para cargas muy críticas y requisitos estrictos de disponibilidad, el diseño debe incluir rutas redundantes de alimentación y red, así como la posibilidad de mantener los nodos sin detener todo el sistema.
Almacenamiento para LLM y RAG
Es preferible colocar la partición del sistema en unidades M.2 en espejo dentro de BOSS, mientras que los modelos, los índices y los conjuntos de datos deben utilizar dispositivos de almacenamiento independientes.
Las unidades NVMe locales se utilizan para:
- los pesos de los modelos;
- los índices vectoriales;
- la caché y los archivos temporales;
- los conjuntos de datos de entrenamiento;
- los puntos de control.
En RAG importa no solo el rendimiento secuencial del SSD, sino también la latencia de acceso aleatorio. Un gran número de archivos pequeños y las actualizaciones frecuentes del índice pueden depender más del número de operaciones de entrada/salida.
Se necesita RAID tolerante a fallos para los datos que deben sobrevivir a la avería de una unidad. Con NVMe conectados directamente, la tolerancia a fallos la proporciona el sistema operativo, la aplicación o la replicación en otro nodo. Los HDD pueden utilizarse para archivos, pero no para modelos ni para una base RAG activa, porque su rendimiento de lectura aleatoria es insuficiente.
Red y escalado
Para desarrollo pueden ser suficientes 10 Gbit/s. Un sistema RAG de producción, el almacenamiento compartido y varios nodos GPU suelen requerir 25–100 Gbit/s. Las redes de 200–400 Gbit/s son relevantes para el entrenamiento distribuido y el intercambio frecuente de tensores entre servidores.
Es aconsejable separar el tráfico de gestión, las solicitudes de los usuarios, el acceso al almacenamiento y la comunicación entre nodos de cálculo, al menos mediante VLAN.
La velocidad del puerto no garantiza el rendimiento si el adaptador comparte recursos PCIe con una GPU o si el almacenamiento compartido es más lento que la red. Distribuir un modelo entre varios servidores añade latencia, mientras que las instancias independientes de inferencia escalan de forma más eficiente.
Alimentación y refrigeración
En un servidor de IA, las GPU suelen consumir más energía que todos los demás componentes juntos. El cálculo debe incluir los aceleradores, las CPU, la RAM, las unidades NVMe, la red, los sistemas de refrigeración, las pérdidas de las fuentes de alimentación y los picos de potencia de corta duración.
Las potencias nominales de dos fuentes de alimentación no pueden sumarse sin más. En una configuración redundante, el servidor debe mantener la carga de trabajo después de que falle una fuente. Los sistemas de alta densidad también pueden requerir 200–240 V, varias conexiones eléctricas, PDU adecuadas y un cálculo independiente de la potencia del rack.
Las GPU pasivas de servidor se refrigeran mediante el flujo de aire que atraviesa el chasis. Por eso, una configuración preparada para GPU puede incluir ventiladores, disipadores y deflectores de aire especiales. Instalar tarjetas potentes en un servidor estándar después de la compra suele exigir la sustitución de los risers, los cables, las fuentes de alimentación y parte de la configuración de las unidades.
La refrigeración líquida reduce la carga sobre el flujo de aire de la sala, pero requiere colectores, intercambiadores de calor, detección de fugas y un circuito de refrigeración preparado en el centro de datos.
Compatibilidad del software y funcionamiento
La compatibilidad con la GPU debe comprobarse junto con el sistema operativo y los controladores. Una tarjeta puede requerir una versión concreta de Linux, del kernel, de CUDA o del firmware del servidor. La compatibilidad del hipervisor no garantiza que todas las funciones del acelerador estén disponibles dentro de una máquina virtual.
Para producción, defina y mantenga un conjunto validado de versiones:
- Linux y el kernel;
- el controlador de la GPU;
- la pila de contenedores;
- la plataforma de orquestación;
- el modo de uso compartido de GPU;
- BIOS, iDRAC y firmware de los dispositivos.
La supervisión debe abarcar no solo el estado del hardware, sino también el uso de VRAM, las colas de solicitudes, la velocidad del almacenamiento y la latencia del modelo. El servidor puede estar completamente operativo mientras la aplicación se ralentiza por falta de memoria o por una base de datos sobrecargada.
Errores habituales al elegir PowerEdge para IA
- Fijarse solo en el número de GPU. Las ranuras físicas no garantizan suficientes líneas PCIe, una alimentación adecuada ni una refrigeración suficiente.
- Comparar únicamente la potencia de cálculo. Una tarjeta rápida no sirve si el modelo no cabe en la VRAM.
- Sumar mecánicamente la memoria de las GPU. Para utilizar la capacidad combinada hacen falta partición del modelo y comunicación entre tarjetas.
- Contar solo los pesos. El contexto, la concurrencia y los búferes de trabajo también consumen memoria.
- Comprar un chasis estándar pensando en una futura ampliación. Pueden faltar los risers, cables, ventiladores y fuentes de alimentación necesarios, de modo que el coste de la actualización puede ser comparable al de comprar un chasis nuevo.
- Ahorrar en NVMe dentro de un sistema RAG. Un índice lento deja a los aceleradores esperando datos.
- Subestimar la CPU y la RAM. Esto se nota especialmente al procesar documentos, vídeo y conjuntos de datos.
- Ignorar la topología PCIe y NUMA. Las GPU, la memoria, la red y el almacenamiento pueden estar conectados a procesadores diferentes.
- Calcular incorrectamente la redundancia de alimentación. El sistema debe soportar la carga de trabajo después de que falle una fuente de alimentación.
- Ignorar los límites térmicos. Que una tarjeta sea compatible no significa que cualquier configuración pueda funcionar a cualquier temperatura ambiente.
- No comprobar el sistema operativo y los controladores. Las GPU nuevas pueden requerir versiones concretas del kernel y las bibliotecas.
- Basarse en una prueba de demostración. Una sola solicitud con un contexto corto no representa una carga de producción.
Qué plataforma elegir
El R750 es adecuado para desarrollo con presupuesto limitado y cargas de GPU moderadas. Los R760 y R770 están pensados para una o dos tarjetas gráficas, LLM pequeños y medianos, RAG e inferencia empresarial. Elija el R760xa cuando necesite hasta cuatro GPU PCIe potentes en 2U.
Los XE7740 y XE7745 son adecuados para cinco u ocho aceleradores PCIe, inferencia a gran escala, visión artificial y ajuste fino. Los XE9680, XE9780 y XE9785 son necesarios para modelos grandes, entrenamiento intensivo y cargas sensibles a la velocidad de comunicación entre ocho GPU.
La secuencia de selección debe ser la siguiente: definir el modelo, la precisión, la longitud del contexto, la concurrencia y el flujo de datos; calcular las necesidades de VRAM; seleccionar la clase de GPU; comprobar PCIe; y después elegir la CPU, la RAM, el almacenamiento NVMe, la red, la alimentación y la refrigeración. Este enfoque evita una situación en la que se instalan aceleradores caros, pero la plataforma no puede suministrarles datos ni funcionar de forma estable a plena carga.
Índice:
