Elegir una GPU para IA se ha vuelto una pregunta frecuente en las áreas de TI: alguien quiere probar un modelo de lenguaje en su propio equipo, un analista necesita acelerar un entrenamiento o la gerencia pregunta si conviene comprar una tarjeta gráfica para IA o pagar la nube. Casi siempre aparece la misma palabra, CUDA, y, sin embargo, casi siempre se mira el número equivocado. En realidad, lo que decide si un modelo funciona no es la potencia de la tarjeta, sino su memoria: la VRAM.
Por eso, esta guía de consulta reúne lo que un profesional de TI necesita tener a mano para decidir con datos: qué es CUDA de NVIDIA y cómo encajan el controlador, el toolkit y la compute capability; cuánta VRAM para IA pide cada tamaño de modelo; en qué se diferencian CUDA vs ROCm y la propuesta de Intel; qué tarjeta gráfica para IA tiene sentido con 8, 16, 24 o 96 GB; cómo comprobar que todo funciona y cuándo sale más a cuenta la nube.
Para ello, las versiones y las cifras salen de la documentación oficial de NVIDIA, AMD, Intel, PyTorch y Ollama, consultada el 18 de noviembre de 2026. Los tamaños de los modelos se leyeron de sus archivos reales en Hugging Face, la memoria se calculó con la arquitectura publicada de cada modelo y, además, medimos ese mismo día lo que pasa cuando no hay GPU: dos modelos ejecutados solo con el procesador de un portátil de trabajo.
GPU para IA: la respuesta corta
Si solo tiene un minuto, entonces esta tabla resume qué se puede hacer con cada cantidad de memoria de vídeo. Además, las cifras son cálculos con modelos cuantizados a 4 bits, el formato habitual para ejecutar modelos en un equipo propio; el resto del artículo explica de dónde salen.
| VRAM | Qué cabe con holgura | Ejemplo de tarjeta actual |
|---|---|---|
| 8 GB | Un modelo de 8.000 millones de parámetros (8B) con contexto corto | GeForce RTX 5060 |
| 12 GB | Un 8B en 8 bits, con mejor calidad | GeForce RTX 5070 · Intel Arc B580 |
| 16 GB | Un 8B en 8 bits con contexto largo (32.000 tokens) | GeForce RTX 5060 Ti 16 GB · RTX 5080 · Radeon RX 9070 XT |
| 24 GB | Un modelo de 27B a 32B con contexto corto | RTX PRO 4000 Blackwell · Intel Arc Pro B60 |
| 32 GB | Un 32B con contexto de 32.000 tokens | GeForce RTX 5090 · Radeon AI PRO R9700 · RTX PRO 4500 |
| 48 GB o más | Un 70B en 4 bits con contexto corto | RTX PRO 5000 (48 o 72 GB) · RTX PRO 6000 (96 GB) |
En resumen: para usar modelos ya entrenados (inferencia) basta una tarjeta de consumo con memoria suficiente, y para entrenar o ajustar modelos grandes hace falta mucha más memoria de la que tiene cualquier tarjeta de escritorio. Por otra parte, NVIDIA sigue siendo la opción con menos fricción por CUDA, aunque AMD e Intel ya funcionan con las herramientas principales.
Por qué usar una GPU para IA y no solo el procesador
Para empezar, una red neuronal es, en el fondo, una enorme cantidad de multiplicaciones de matrices. Mientras que un procesador (CPU) tiene pocos núcleos muy rápidos y pensados para tareas variadas, una tarjeta gráfica (GPU) tiene miles de núcleos sencillos que hacen la misma operación sobre muchos datos a la vez. Por eso una GPU para IA entrena y responde mucho más rápido que un procesador.
Además, hay un segundo motivo, menos conocido y más importante al usar modelos de lenguaje: la memoria. Para escribir cada palabra (en realidad, cada token), el modelo tiene que leer todos sus pesos. Así pues, la velocidad depende sobre todo de cuántos gigabytes por segundo puede mover la memoria. En cambio, la memoria de una tarjeta gráfica es mucho más rápida que la RAM del equipo; por ejemplo, NVIDIA declara 273 GB/s para la memoria unificada de su equipo DGX Spark, y las GPU de gama alta multiplican varias veces esa cifra.
Lo que medimos sin una GPU para IA
Para comprobarlo, ejecutamos Ollama 0.40.16 en Docker sobre un portátil con un Intel Core i9-13900H, 40 GB de RAM y solo la gráfica integrada, sin tarjeta dedicada. Como era de esperar, Ollama detectó que no había GPU y cargó todo en la memoria del sistema; su orden ollama ps lo dice en la columna PROCESSOR: 100% CPU. Después pedimos a cada modelo la misma respuesta de 200 tokens, seis veces, con tres tamaños de contexto:
| Modelo (formato) | Archivo | Velocidad al escribir | Velocidad al leer la pregunta |
|---|---|---|---|
| Llama 3.2 1B (8 bits, Q8_0) | 1,32 GB | 9,64 a 12,62 tokens/s | 58 a 66 tokens/s |
| Llama 3.1 8B (4 bits, Q4_K_M) | 4,92 GB | 1,95 a 2,65 tokens/s | 13 a 15 tokens/s |
El modelo de 8B pesa 3,7 veces más que el de 1B y escribe unas 5,1 veces más despacio: la velocidad cae al menos tanto como crece el archivo, porque para cada token hay que recorrer todos los pesos. En la práctica, una respuesta de 200 tokens tardó entre 79 y 123 segundos con el modelo de 8B, frente a 16 a 21 con el de 1B: sirve para probar, pero no para atender a varias personas. Por eso, la primera pregunta al elegir una GPU para IA no es cuántos núcleos tiene, sino cuánta memoria tiene y qué tan rápida es.
Qué es CUDA de NVIDIA
CUDA es la plataforma de programación de NVIDIA para usar sus tarjetas gráficas en cálculos generales, no solo en gráficos. Por un lado, incluye un compilador, bibliotecas optimizadas (como cuBLAS para álgebra lineal y cuDNN para redes neuronales) y herramientas de depuración. Además, casi todo el software de inteligencia artificial, desde PyTorch hasta Ollama, trae soporte para CUDA de NVIDIA, y esa es la razón principal de que NVIDIA domine este mercado: no es solo la tarjeta, es el ecosistema que hay encima.
En la práctica, al montar una GPU para IA hay tres piezas que conviene distinguir, porque la mayoría de los errores vienen de mezclarlas:
- El controlador (driver): el programa que hace funcionar la tarjeta en Windows o Linux. De hecho, es lo único imprescindible para usar aplicaciones que ya traen CUDA dentro.
- El CUDA Toolkit: el kit de desarrollo, con el compilador
nvccy las bibliotecas. Solo hace falta para compilar programas; muchas herramientas, como PyTorch, traen su propia copia de las bibliotecas y no lo necesitan. - La compute capability: un número que identifica la generación de la tarjeta y qué instrucciones admite. NVIDIA la define así: «Compute capability (CC) defines the hardware features and supported instructions for each NVIDIA GPU architecture».
Versiones de CUDA y controlador necesario
Actualmente, la versión vigente es el CUDA Toolkit 13.5, que NVIDIA presentó el 4 de noviembre de 2026. Además, cada versión pide un controlador mínimo; las notas de la versión de CUDA lo resumen en esta tabla de compatibilidad:
| CUDA Toolkit | Controlador mínimo | Rama de controlador de cada versión |
|---|---|---|
| 13.x | 580 o superior | 13.0: R580 · 13.2: R595 · 13.4: R615 · 13.5: R620 |
| 12.x | De 525 a menos de 580 | — |
| 11.x | De 450 a menos de 525 | — |
No obstante, hay un matiz útil: una aplicación compilada con cualquier CUDA 13 funciona con un controlador 580 o posterior, pero las funciones nuevas de la 13.5 exigen la rama R620. Además, el controlador es compatible hacia atrás: uno reciente ejecuta programas compilados con versiones anteriores de CUDA. Por eso la regla práctica es mantener el controlador al día y no preocuparse tanto por el toolkit.
Compute capability: qué tarjetas siguen soportadas
Sin duda, este es el dato que más sorprende al revisar equipos antiguos. CUDA 13.0 retiró el soporte de las generaciones Maxwell, Pascal y Volta; en palabras de NVIDIA, «Offline compilation and library support for these architectures have been removed in CUDA Toolkit 13.0». Todavía se puede compilar para ellas con CUDA 12, pero las herramientas nuevas irán dejándolas fuera. Dicho de otro modo, una GeForce GTX 1080 o una Tesla V100 ya no son una buena base para un proyecto nuevo.
| Generación | Compute capability | Ejemplos |
|---|---|---|
| Blackwell (consumo y estación de trabajo) | 12.0 | GeForce RTX 5090, 5080, 5070, 5060 · RTX PRO 6000 Blackwell |
| Blackwell (DGX Spark) | 12.1 | DGX Spark (GB10) |
| Blackwell (centro de datos) | 10.0 | B200 |
| Ada Lovelace | 8.9 | GeForce RTX 4090 |
| Ampere | 8.6 y 8.0 | GeForce RTX 3090 (8.6) · A100 (8.0) |
| Turing | 7.5 | GeForce RTX 2080 |
| Volta, Pascal y Maxwell | 7.0 o menos | Sin soporte en CUDA 13 |
Igualmente, la lista completa está en la página oficial de compute capability de NVIDIA. Por lo tanto, antes de comprar o reutilizar una GPU para IA conviene buscarla ahí.
Núcleos CUDA y Tensor Cores
Por su parte, las fichas técnicas hablan de núcleos CUDA y de Tensor Cores. Básicamente, los núcleos CUDA son las unidades de cálculo generales; los Tensor Cores son unidades especializadas en multiplicar matrices con poca precisión (16, 8 o incluso 4 bits), que es exactamente lo que hace una red neuronal. Por eso, para inteligencia artificial pesan más los Tensor Cores y, sobre todo, la memoria. Por el contrario, comparar dos tarjetas solo por su número de núcleos CUDA es un error frecuente: una tarjeta con más núcleos y menos VRAM puede no ser capaz de cargar el modelo que necesita.
VRAM para IA: el límite que decide qué modelo cabe
En primer lugar, la memoria de la tarjeta tiene que alojar tres cosas a la vez: los pesos del modelo, la caché del contexto (lo que el modelo recuerda de la conversación) y un margen para el propio programa. Por lo tanto, si no caben, el modelo no arranca o se reparte entre la GPU y la RAM del sistema, y entonces la velocidad se desploma.
Cuánto ocupan los pesos
Para empezar, el cálculo es sencillo: número de parámetros multiplicado por los bytes que ocupa cada uno. En 16 bits (FP16 o BF16) cada parámetro ocupa 2 bytes; en 8 bits, 1 byte; y en 4 bits, medio byte más un poco de información de escala. Los formatos reales gastan algo más: según la documentación de llama.cpp, Q8_0 usa 8,5 bits por peso y Q4_K_M, el más usado en Ollama y llama.cpp, 4,89.
Así, con los parámetros exactos publicados por cada modelo y los archivos reales de Hugging Face, el resultado es este:
| Modelo | Parámetros | 16 bits | 8 bits | 4 bits (Q4_K_M) |
|---|---|---|---|---|
| Llama 3.2 1B | 1.236 millones | 2,3 GiB | 1,2 GiB | 0,7 GiB |
| Llama 3.1 8B | 8.030 millones | 15,0 GiB | 7,95 GiB (archivo real) | 4,58 GiB (archivo real) |
| Gemma 3 27B | 27.432 millones | — | 26,74 GiB (archivo real) | 15,41 GiB (archivo real) |
| Qwen3 32B | 32.762 millones | 61,0 GiB | 32,43 GiB (archivo real) | 18,40 GiB (archivo real) |
| Llama 3.3 70B | 70.554 millones | 131,4 GiB | 69,8 GiB | 40,2 GiB |
En consecuencia, la lectura práctica es clara: un modelo de 70B en 16 bits necesita más de 130 GiB, que no caben en ninguna tarjeta de escritorio, mientras que el mismo modelo en 4 bits cabe en una tarjeta de 48 GB. De ahí que cuantizar, es decir, guardar los pesos con menos bits, sea lo que hace posible la IA local, a cambio de una pérdida de calidad que en 8 bits apenas se nota y en 4 bits suele ser aceptable.
Cuánto ocupa el contexto
En segundo lugar está el contexto, que suele olvidarse. Concretamente, cada token de la conversación guarda en la memoria dos vectores por capa del modelo, la llamada caché KV. Además, su tamaño se calcula con la arquitectura publicada en el archivo de configuración de cada modelo: capas × cabezas de atención de clave y valor × dimensión × 2 × 2 bytes.
| Modelo | Por token | 8.000 tokens | 32.000 tokens | 128.000 tokens |
|---|---|---|---|---|
| Llama 3.2 1B | 32 KiB | 0,25 GiB | 1 GiB | 4 GiB |
| Llama 3.1 8B | 128 KiB | 1 GiB | 4 GiB | 16 GiB |
| Qwen3 32B | 256 KiB | 2 GiB | 8 GiB | 32 GiB |
| Llama 3.3 70B | 320 KiB | 2,5 GiB | 10 GiB | 40 GiB |
Es decir, un modelo de 8B que pesa 4,58 GiB necesita otros 16 GiB si se le pide su contexto máximo de 128.000 tokens. En el laboratorio lo comprobamos con el modelo de 8B: con un contexto de 2.048 tokens ocupaba 5,3 GB, con 8.192 subió a 6,3 GB y con 32.768 llegó a 9,5 GB, según ollama ps. Así, la diferencia entre 2.048 y 32.768 tokens fue de 3,9 GiB, muy cerca de los 3,75 GiB que da el cálculo (30.720 tokens × 128 KiB).
La fórmula para estimar la VRAM para IA
Con las dos tablas anteriores se puede estimar la memoria de cualquier GPU para IA:
VRAM necesaria ≈ pesos del modelo + caché del contexto + 1 o 2 GB de margen.
Por ejemplo, Qwen3 32B en 4 bits con 8.000 tokens de contexto necesita unos 18,4 + 2 + 1 = 21,4 GiB: cabe en una tarjeta de 24 GB. En cambio, con 32.000 tokens sube a 27,4 GiB y ya pide una de 32 GB. En definitiva, este cálculo explica la tabla del principio y sirve para cualquier modelo nuevo: basta con mirar el tamaño de su archivo y su archivo de configuración.
Entrenar con una GPU para IA no es lo mismo que usarla
Ahora bien, todo lo anterior vale para inferencia, es decir, para usar un modelo ya entrenado. En cambio, entrenar o ajustar un modelo completo pide mucho más: además de los pesos, hay que guardar los gradientes y el estado del optimizador. Con el optimizador Adam en precisión mixta, el trabajo ZeRO de Microsoft calcula 16 bytes por parámetro, así que ajustar por completo un modelo de 8B necesitaría unos 128 GB, sin contar el contexto. Por eso los ajustes en equipos propios se hacen con técnicas como LoRA o QLoRA, que entrenan solo una pequeña parte de los pesos, y los entrenamientos grandes se hacen en la nube o en servidores con varias GPU de centro de datos.
CUDA vs ROCm vs Intel: tres plataformas de GPU para IA
Sin embargo, NVIDIA no es la única opción. AMD tiene ROCm, su plataforma abierta, mientras que Intel apuesta por oneAPI y por OpenVINO. La comparación de CUDA vs ROCm ya no es la de hace unos años: las dos funcionan con PyTorch y con Ollama. Aun así, la diferencia está en la cantidad de software probado y en los sistemas operativos.
| Aspecto | NVIDIA CUDA | AMD ROCm | Intel (XPU y OpenVINO) |
|---|---|---|---|
| Versión vigente (18-11-2026) | CUDA 13.5 (4-11-2026) | ROCm 10.2.0 (18-11-2026) | PyTorch 2.15 con XPU · OpenVINO 2026.4 |
| PyTorch 2.15 estable | Sí, en Linux y Windows (CUDA 13.2 y 13.4) | Sí en Linux (ROCm 10.0); en Windows, paquetes de AMD | Sí, en Windows 11, Ubuntu y WSL2 |
| Ollama | Compute capability 5.0 o superior y controlador 550 o posterior | Lista propia de tarjetas en Linux y en Windows | Por Vulkan |
| Tarjetas de escritorio | Casi todas desde Turing (2018) | Radeon RX 9000 y RX 7900, Radeon AI PRO R9700 | Arc serie A y B, Arc Pro B60 |
| Software de terceros | El más amplio: casi todo se prueba primero en CUDA | Creciendo; algunos proyectos llegan tarde | Menor; fuerte en inferencia con OpenVINO |
NVIDIA: la GPU para IA que menos ajustes pide
Ante todo, la ventaja de CUDA de NVIDIA es práctica: los tutoriales, los contenedores y las bibliotecas suponen una tarjeta NVIDIA. Por eso, si el equipo tiene que funcionar el primer día y no hay tiempo para investigar, una GPU para IA de NVIDIA es la opción con menos sorpresas.
AMD ROCm: una alternativa real, con más cuidado
ROCm 10.2.0 salió el mismo 18 de noviembre de 2026 y su matriz de compatibilidad incluye, entre otras, las Radeon RX 9070 XT, 9070 y 9060 XT, la RX 7900 XTX, la Radeon AI PRO R9700 de 32 GB y las Instinct MI300X, MI325X y MI350X de centro de datos. En la comparación de CUDA vs ROCm, hay dos detalles que conviene conocer antes de elegir AMD:
- Windows: la página de PyTorch dice «ROCm is not available on Windows», pero las notas de ROCm 10.2 ofrecen PyTorch 2.15 para Windows en las Radeon RX 7000 y RX 9000 con paquetes publicados por AMD. Es decir, funciona, aunque fuera del instalador estándar.
- Ollama en Windows: su lista de tarjetas AMD para Windows incluye la serie RX 7000 y no menciona ninguna RX 9000, aunque ROCm sí las soporta. En Linux, en cambio, las lista todas.
Por otra parte, una curiosidad que confunde al principio: en PyTorch, las tarjetas AMD se usan con las mismas instrucciones que las de NVIDIA (torch.cuda), porque ROCm traduce esas llamadas. Por eso un script escrito para CUDA suele funcionar sin cambios en una Radeon compatible.
Intel: una GPU para IA local con mucha memoria
Por su parte, Intel ofrece soporte nativo en PyTorch para sus tarjetas Arc y para la gráfica de los Core Ultra, con el dispositivo xpu, además de OpenVINO para optimizar modelos ya entrenados. La Arc Pro B60, con 24 GB y 200 W, y la Arc B580, con 12 GB, ofrecen mucha memoria con un consumo moderado. Aun así, el catálogo de software probado es el más corto de los tres.
Apple y la memoria unificada
Por último, los Mac con chips de Apple comparten la memoria entre el procesador y la gráfica, así que un equipo con mucha memoria puede cargar modelos grandes. Además, Ollama los acelera con Metal. Ahora bien, CUDA no existe en macOS: PyTorch lo dice sin rodeos («CUDA is not available on MacOS»), así que el software que solo funciona con CUDA no corre ahí. La diferencia entre arquitecturas de procesador se explica en la guía de AMD64 vs ARM64.
Tarjeta gráfica para IA: consumo o estación de trabajo
Una vez claro cuánta memoria hace falta, queda elegir la familia de la tarjeta gráfica para IA. Así, NVIDIA separa sus tarjetas GeForce, pensadas para juegos y creadores, de las RTX PRO, pensadas para estaciones de trabajo. A continuación, las cifras oficiales de las tarjetas actuales:
| Tarjeta | VRAM | Memoria con ECC | Consumo máximo |
|---|---|---|---|
| GeForce RTX 5060 | 8 GB GDDR7 | No | 145 W |
| GeForce RTX 5060 Ti | 8 o 16 GB GDDR7 | No | 180 W |
| GeForce RTX 5070 | 12 GB GDDR7 | No | 250 W |
| GeForce RTX 5070 Ti | 16 GB GDDR7 | No | 300 W |
| GeForce RTX 5080 | 16 GB GDDR7 | No | 360 W |
| GeForce RTX 5090 | 32 GB GDDR7 | No | 575 W |
| RTX PRO 2000 Blackwell | 16 GB GDDR7 | Sí | 70 W |
| RTX PRO 4000 Blackwell | 24 GB GDDR7 | Sí | 145 W (70 W en la versión compacta) |
| RTX PRO 4500 Blackwell | 32 GB GDDR7 | Sí | 200 W |
| RTX PRO 5000 Blackwell | 48 o 72 GB GDDR7 | Sí | 300 W |
| RTX PRO 6000 Blackwell | 96 GB GDDR7 | Sí | 600 W (300 W en la versión Max-Q) |
Fuera de NVIDIA, por ejemplo, la Radeon AI PRO R9700 trae 32 GB, la Radeon RX 9070 XT 16 GB, la Intel Arc Pro B60 24 GB y la Arc B580 12 GB. Además, hay un formato distinto: el DGX Spark de NVIDIA, un equipo pequeño con 128 GB de memoria unificada, que según el fabricante maneja modelos de hasta 200.000 millones de parámetros, con una fuente de 240 W.
Qué cambia en una tarjeta de estación de trabajo
En realidad, la diferencia no está en CUDA, que es el mismo, sino en cuatro cosas:
- Más memoria por vatio: la RTX PRO 4500 da los mismos 32 GB que una RTX 5090 con 200 W en lugar de 575 W, lo que cambia la fuente de poder, la ventilación y el ruido del equipo.
- Memoria con corrección de errores (ECC): detecta y corrige fallos de memoria. Sobre todo importa en trabajos largos, donde un error silencioso puede estropear horas de cálculo.
- Tamaño y consumo: las versiones compactas y Max-Q de la gama RTX PRO consumen 70 o 300 W, lo que permite instalar varias en un mismo servidor sin rediseñar la alimentación ni la refrigeración.
- Controladores certificados por fabricantes de software profesional, algo que pesa en diseño e ingeniería más que en IA.
Para un equipo de pruebas, en resumen, una GeForce con memoria suficiente es razonable. En cambio, para un servidor que va a funcionar todo el día, con varias personas usándolo, la tarjeta de estación de trabajo suele compensar por consumo, ECC y tamaño. Conviene recordar, además, que la RTX 5090 pide una fuente de unos 1.000 W según NVIDIA, así que conviene revisar el equipo antes de comprarla. Finalmente, para el procesador que la acompaña, la guía Intel vs AMD explica cómo elegir.
Cómo comprobar que la GPU para IA funciona
Antes de culpar al modelo, primero conviene comprobar cada capa por orden: la tarjeta, el controlador, la biblioteca y la aplicación. De hecho, estas órdenes son las mismas que usan los equipos de soporte.
El controlador y la tarjeta
En Windows o Linux con una tarjeta NVIDIA, nvidia-smi muestra la tarjeta, la memoria usada y el controlador. La cifra «CUDA Version» que aparece arriba es la versión máxima de CUDA que admite ese controlador, no la que está instalada:
nvidia-smi
nvidia-smi --query-gpu=name,memory.total,memory.used,driver_version,compute_cap --format=csv
Asimismo, en Windows se ve en el Administrador de tareas, en la pestaña Rendimiento, con la memoria dedicada de la GPU; la guía del Administrador de tareas explica cómo leerla.
El toolkit y PyTorch
En cuanto al toolkit, para saber cuál hay instalado, si lo hay, se usa nvcc --version. Luego, para saber si PyTorch ve la tarjeta:
python -c "import torch; print(torch.__version__, torch.version.cuda, torch.cuda.is_available())"
python -c "import torch; print(torch.cuda.get_device_name(0))"
Si la respuesta es False, entonces casi siempre se instaló la versión de PyTorch sin GPU. En una tarjeta Intel la comprobación es torch.xpu.is_available(), y en una AMD con ROCm sirve la misma de CUDA, con torch.version.hip en lugar de torch.version.cuda.
Ollama
En Ollama, la orden ollama ps dice dónde quedó cargado cada modelo. Esta es la salida real del laboratorio, sin tarjeta dedicada:
NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
llama3.1:8b 46e0c10c039e 9.5 GB 100% CPU 32768 llamacpp 9 minutes from now
En concreto, 100% GPU significa que el modelo cabe entero en la tarjeta; 100% CPU, que está en la memoria del sistema, y un reparto como 48%/52% CPU/GPU, que no cabe y una parte se quedó fuera. Ese último caso es, sin embargo, el más engañoso: el modelo funciona, pero mucho más lento de lo esperado.
Docker y WSL
Por otro lado, para usar la tarjeta desde contenedores hace falta el NVIDIA Container Toolkit. A continuación, una vez instalado, NVIDIA indica cómo configurarlo y probarlo:
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi
Si los contenedores son nuevos para usted, entonces la guía de Docker explica lo básico. Y en Windows con WSL 2, además, hay una regla que evita muchas horas perdidas: el controlador se instala solo en Windows. La guía de CUDA en WSL lo dice así: «you must not install any NVIDIA Linux GPU driver within WSL». Así, dentro de WSL solo se instala el toolkit, y NVIDIA recomienda ahora el paquete cuda-toolkit, porque el repositorio específico para WSL no trae CUDA 13.4 ni posteriores.
Errores frecuentes con una GPU para IA
Estos son los mensajes que más aparecen al poner en marcha una GPU para IA, con su causa más probable:
| Mensaje o síntoma | Causa habitual | Qué hacer |
|---|---|---|
CUDA out of memory | El modelo, el contexto o el lote no caben en la VRAM | Reducir el contexto, usar un modelo cuantizado o uno más pequeño |
CUDA driver version is insufficient for CUDA runtime version | El controlador es más antiguo que el CUDA que pide la aplicación | Actualizar el controlador (580 o superior para CUDA 13) |
no kernel image is available for execution on the device | La aplicación no se compiló para la compute capability de la tarjeta | Usar una versión compatible con la tarjeta; las anteriores a Turing no tienen CUDA 13 |
torch.cuda.is_available() devuelve False | Se instaló PyTorch sin soporte de GPU o falta el controlador | Reinstalar PyTorch desde el índice de CUDA y revisar nvidia-smi |
ollama ps dice 100% CPU | La tarjeta no se detectó, no es compatible o no hay tarjeta | Revisar el controlador y la lista de tarjetas compatibles de Ollama |
could not select device driver "" with capabilities: [[gpu]] | Docker no tiene el NVIDIA Container Toolkit | Instalarlo y configurar Docker con nvidia-ctk |
| La tarjeta desaparece en WSL tras instalar paquetes | Se instaló un controlador de Linux dentro de WSL | Quitar el controlador de WSL y dejar solo el de Windows |
GPU para IA propia o en la nube: cuándo conviene cada una
En general, comprar una GPU para IA tiene sentido cuando se va a usar muchas horas; la nube, cuando el uso es esporádico o cuando se necesita más memoria de la que cabe en un equipo. Para comparar, a continuación están los precios por hora bajo demanda, en Linux, consultados el 18 de noviembre de 2026 en las listas oficiales de AWS y de Azure para regiones de Estados Unidos:
| Instancia | GPU y memoria | Por hora | Jornada laboral (176 h al mes) | Todo el mes (730 h) |
|---|---|---|---|---|
| AWS g6.xlarge | 1 NVIDIA L4, 24 GB | 0,8048 USD | 141,64 USD | 587,50 USD |
| AWS g6e.xlarge | 1 NVIDIA L40S, 48 GB | 1,861 USD | 327,54 USD | 1.358,53 USD |
| Azure NC24ads A100 v4 | 1 NVIDIA A100, 80 GB | 3,673 USD | 646,45 USD | 2.681,29 USD |
Por consiguiente, la cuenta para decidir es sencilla: si el coste de un año de nube supera el de la tarjeta, el equipo que la aloja y la electricidad, comprar sale a cuenta. Como referencia del consumo, por ejemplo, una RTX 5090 a plena carga durante una jornada laboral de 176 horas al mes gasta unos 101 kWh solo en la tarjeta (575 W × 176 h). En sentido contrario, la nube gana cuando hay que entrenar unas semanas al año, cuando se necesitan 80 GB o más de memoria o cuando no hay quien administre el equipo.
Además, hay una razón que no sale en la factura: ejecutar un modelo en un servidor propio mantiene los datos dentro de la empresa. Por ejemplo, para documentos internos o información de clientes, ese control puede pesar más que el precio. Si se usa la nube, conviene revisar dónde se guardan los datos y quién tiene acceso, igual que con cualquier otro servicio.
GPU para IA en la empresa: cómo encaja con la infraestructura
Una GPU para IA en una empresa rara vez vive sola en un escritorio. Por el contrario, lo habitual es instalarla en un servidor que varias personas usan a la vez, a menudo dentro de una máquina virtual o de contenedores, con copias de seguridad, monitoreo y control de acceso como el resto de la infraestructura. Por eso, antes de comprar conviene responder cinco preguntas:
- Qué modelos se van a usar y con qué contexto: con eso y la fórmula de la VRAM se calcula la memoria.
- Cuántas personas lo usarán a la vez: cada conversación simultánea suma su propia caché de contexto.
- Dónde va a vivir: un servidor necesita fuente, refrigeración y espacio para la tarjeta; uno virtualizado, además, que el hipervisor pueda entregarle la GPU a la máquina virtual. Las guías de virtualización de servidores, Proxmox e Hyper-V explican esa base.
- Qué sistema operativo: Linux sigue siendo el entorno con más soporte para CUDA y ROCm; Windows funciona, sobre todo con NVIDIA, y WSL 2 sirve de puente. Para el día a día en Linux, la guía de comandos avanzados de Linux es un buen punto de apoyo.
- Quién lo administra: controladores, versiones de CUDA, actualizaciones y seguridad requieren mantenimiento, igual que cualquier servidor.
Cómo lo aborda KHARONTE
En KHARONTE administramos la infraestructura sobre la que corren estas cargas: servidores, virtualización, almacenamiento y redes, dentro de nuestra línea de infraestructura TI. Por ejemplo, ayudamos a dimensionar el servidor, a preparar el sistema operativo y los controladores, y a integrarlo con las copias de seguridad y el monitoreo. Eso sí, no comercializamos los equipos: le ayudamos a elegir con criterio técnico y el equipo lo compra la empresa a quien prefiera.
Además, esa administración forma parte de nuestros servicios administrados de TI, con la misma mesa de ayuda TI que atiende los casos de los usuarios. Si prefiere delegar la operación completa, el outsourcing de infraestructura de TI cubre el día a día de los servidores, y en nuestra página de servicios de TI para empresas está el portafolio completo.




