GPU para IA: CUDA, VRAM y qué tarjeta gráfica elegir para inteligencia artificial

GPU para IA: tarjeta gráfica GeForce RTX instalada en la ranura de la placa base de un equipo de escritorio, con su cable de alimentación

Elegir una GPU para IA se ha vuelto una pregunta frecuente en las áreas de TI: alguien quiere probar un modelo de lenguaje en su propio equipo, un analista necesita acelerar un entrenamiento o la gerencia pregunta si conviene comprar una tarjeta gráfica para IA o pagar la nube. Casi siempre aparece la misma palabra, CUDA, y, sin embargo, casi siempre se mira el número equivocado. En realidad, lo que decide si un modelo funciona no es la potencia de la tarjeta, sino su memoria: la VRAM.

Por eso, esta guía de consulta reúne lo que un profesional de TI necesita tener a mano para decidir con datos: qué es CUDA de NVIDIA y cómo encajan el controlador, el toolkit y la compute capability; cuánta VRAM para IA pide cada tamaño de modelo; en qué se diferencian CUDA vs ROCm y la propuesta de Intel; qué tarjeta gráfica para IA tiene sentido con 8, 16, 24 o 96 GB; cómo comprobar que todo funciona y cuándo sale más a cuenta la nube.

Para ello, las versiones y las cifras salen de la documentación oficial de NVIDIA, AMD, Intel, PyTorch y Ollama, consultada el 18 de noviembre de 2026. Los tamaños de los modelos se leyeron de sus archivos reales en Hugging Face, la memoria se calculó con la arquitectura publicada de cada modelo y, además, medimos ese mismo día lo que pasa cuando no hay GPU: dos modelos ejecutados solo con el procesador de un portátil de trabajo.

GPU para IA: la respuesta corta

Si solo tiene un minuto, entonces esta tabla resume qué se puede hacer con cada cantidad de memoria de vídeo. Además, las cifras son cálculos con modelos cuantizados a 4 bits, el formato habitual para ejecutar modelos en un equipo propio; el resto del artículo explica de dónde salen.

VRAMQué cabe con holguraEjemplo de tarjeta actual
8 GBUn modelo de 8.000 millones de parámetros (8B) con contexto cortoGeForce RTX 5060
12 GBUn 8B en 8 bits, con mejor calidadGeForce RTX 5070 · Intel Arc B580
16 GBUn 8B en 8 bits con contexto largo (32.000 tokens)GeForce RTX 5060 Ti 16 GB · RTX 5080 · Radeon RX 9070 XT
24 GBUn modelo de 27B a 32B con contexto cortoRTX PRO 4000 Blackwell · Intel Arc Pro B60
32 GBUn 32B con contexto de 32.000 tokensGeForce RTX 5090 · Radeon AI PRO R9700 · RTX PRO 4500
48 GB o másUn 70B en 4 bits con contexto cortoRTX PRO 5000 (48 o 72 GB) · RTX PRO 6000 (96 GB)

En resumen: para usar modelos ya entrenados (inferencia) basta una tarjeta de consumo con memoria suficiente, y para entrenar o ajustar modelos grandes hace falta mucha más memoria de la que tiene cualquier tarjeta de escritorio. Por otra parte, NVIDIA sigue siendo la opción con menos fricción por CUDA, aunque AMD e Intel ya funcionan con las herramientas principales.

Por qué usar una GPU para IA y no solo el procesador

Para empezar, una red neuronal es, en el fondo, una enorme cantidad de multiplicaciones de matrices. Mientras que un procesador (CPU) tiene pocos núcleos muy rápidos y pensados para tareas variadas, una tarjeta gráfica (GPU) tiene miles de núcleos sencillos que hacen la misma operación sobre muchos datos a la vez. Por eso una GPU para IA entrena y responde mucho más rápido que un procesador.

Además, hay un segundo motivo, menos conocido y más importante al usar modelos de lenguaje: la memoria. Para escribir cada palabra (en realidad, cada token), el modelo tiene que leer todos sus pesos. Así pues, la velocidad depende sobre todo de cuántos gigabytes por segundo puede mover la memoria. En cambio, la memoria de una tarjeta gráfica es mucho más rápida que la RAM del equipo; por ejemplo, NVIDIA declara 273 GB/s para la memoria unificada de su equipo DGX Spark, y las GPU de gama alta multiplican varias veces esa cifra.

Lo que medimos sin una GPU para IA

Para comprobarlo, ejecutamos Ollama 0.40.16 en Docker sobre un portátil con un Intel Core i9-13900H, 40 GB de RAM y solo la gráfica integrada, sin tarjeta dedicada. Como era de esperar, Ollama detectó que no había GPU y cargó todo en la memoria del sistema; su orden ollama ps lo dice en la columna PROCESSOR: 100% CPU. Después pedimos a cada modelo la misma respuesta de 200 tokens, seis veces, con tres tamaños de contexto:

Modelo (formato)ArchivoVelocidad al escribirVelocidad al leer la pregunta
Llama 3.2 1B (8 bits, Q8_0)1,32 GB9,64 a 12,62 tokens/s58 a 66 tokens/s
Llama 3.1 8B (4 bits, Q4_K_M)4,92 GB1,95 a 2,65 tokens/s13 a 15 tokens/s

El modelo de 8B pesa 3,7 veces más que el de 1B y escribe unas 5,1 veces más despacio: la velocidad cae al menos tanto como crece el archivo, porque para cada token hay que recorrer todos los pesos. En la práctica, una respuesta de 200 tokens tardó entre 79 y 123 segundos con el modelo de 8B, frente a 16 a 21 con el de 1B: sirve para probar, pero no para atender a varias personas. Por eso, la primera pregunta al elegir una GPU para IA no es cuántos núcleos tiene, sino cuánta memoria tiene y qué tan rápida es.

Qué es CUDA de NVIDIA

CUDA es la plataforma de programación de NVIDIA para usar sus tarjetas gráficas en cálculos generales, no solo en gráficos. Por un lado, incluye un compilador, bibliotecas optimizadas (como cuBLAS para álgebra lineal y cuDNN para redes neuronales) y herramientas de depuración. Además, casi todo el software de inteligencia artificial, desde PyTorch hasta Ollama, trae soporte para CUDA de NVIDIA, y esa es la razón principal de que NVIDIA domine este mercado: no es solo la tarjeta, es el ecosistema que hay encima.

En la práctica, al montar una GPU para IA hay tres piezas que conviene distinguir, porque la mayoría de los errores vienen de mezclarlas:

  1. El controlador (driver): el programa que hace funcionar la tarjeta en Windows o Linux. De hecho, es lo único imprescindible para usar aplicaciones que ya traen CUDA dentro.
  2. El CUDA Toolkit: el kit de desarrollo, con el compilador nvcc y las bibliotecas. Solo hace falta para compilar programas; muchas herramientas, como PyTorch, traen su propia copia de las bibliotecas y no lo necesitan.
  3. La compute capability: un número que identifica la generación de la tarjeta y qué instrucciones admite. NVIDIA la define así: «Compute capability (CC) defines the hardware features and supported instructions for each NVIDIA GPU architecture».

Versiones de CUDA y controlador necesario

Actualmente, la versión vigente es el CUDA Toolkit 13.5, que NVIDIA presentó el 4 de noviembre de 2026. Además, cada versión pide un controlador mínimo; las notas de la versión de CUDA lo resumen en esta tabla de compatibilidad:

CUDA ToolkitControlador mínimoRama de controlador de cada versión
13.x580 o superior13.0: R580 · 13.2: R595 · 13.4: R615 · 13.5: R620
12.xDe 525 a menos de 580—
11.xDe 450 a menos de 525—

No obstante, hay un matiz útil: una aplicación compilada con cualquier CUDA 13 funciona con un controlador 580 o posterior, pero las funciones nuevas de la 13.5 exigen la rama R620. Además, el controlador es compatible hacia atrás: uno reciente ejecuta programas compilados con versiones anteriores de CUDA. Por eso la regla práctica es mantener el controlador al día y no preocuparse tanto por el toolkit.

Compute capability: qué tarjetas siguen soportadas

Sin duda, este es el dato que más sorprende al revisar equipos antiguos. CUDA 13.0 retiró el soporte de las generaciones Maxwell, Pascal y Volta; en palabras de NVIDIA, «Offline compilation and library support for these architectures have been removed in CUDA Toolkit 13.0». Todavía se puede compilar para ellas con CUDA 12, pero las herramientas nuevas irán dejándolas fuera. Dicho de otro modo, una GeForce GTX 1080 o una Tesla V100 ya no son una buena base para un proyecto nuevo.

GeneraciónCompute capabilityEjemplos
Blackwell (consumo y estación de trabajo)12.0GeForce RTX 5090, 5080, 5070, 5060 · RTX PRO 6000 Blackwell
Blackwell (DGX Spark)12.1DGX Spark (GB10)
Blackwell (centro de datos)10.0B200
Ada Lovelace8.9GeForce RTX 4090
Ampere8.6 y 8.0GeForce RTX 3090 (8.6) · A100 (8.0)
Turing7.5GeForce RTX 2080
Volta, Pascal y Maxwell7.0 o menosSin soporte en CUDA 13

Igualmente, la lista completa está en la página oficial de compute capability de NVIDIA. Por lo tanto, antes de comprar o reutilizar una GPU para IA conviene buscarla ahí.

Núcleos CUDA y Tensor Cores

Por su parte, las fichas técnicas hablan de núcleos CUDA y de Tensor Cores. Básicamente, los núcleos CUDA son las unidades de cálculo generales; los Tensor Cores son unidades especializadas en multiplicar matrices con poca precisión (16, 8 o incluso 4 bits), que es exactamente lo que hace una red neuronal. Por eso, para inteligencia artificial pesan más los Tensor Cores y, sobre todo, la memoria. Por el contrario, comparar dos tarjetas solo por su número de núcleos CUDA es un error frecuente: una tarjeta con más núcleos y menos VRAM puede no ser capaz de cargar el modelo que necesita.

VRAM para IA: el límite que decide qué modelo cabe

En primer lugar, la memoria de la tarjeta tiene que alojar tres cosas a la vez: los pesos del modelo, la caché del contexto (lo que el modelo recuerda de la conversación) y un margen para el propio programa. Por lo tanto, si no caben, el modelo no arranca o se reparte entre la GPU y la RAM del sistema, y entonces la velocidad se desploma.

Cuánto ocupan los pesos

Para empezar, el cálculo es sencillo: número de parámetros multiplicado por los bytes que ocupa cada uno. En 16 bits (FP16 o BF16) cada parámetro ocupa 2 bytes; en 8 bits, 1 byte; y en 4 bits, medio byte más un poco de información de escala. Los formatos reales gastan algo más: según la documentación de llama.cpp, Q8_0 usa 8,5 bits por peso y Q4_K_M, el más usado en Ollama y llama.cpp, 4,89.

Así, con los parámetros exactos publicados por cada modelo y los archivos reales de Hugging Face, el resultado es este:

ModeloParámetros16 bits8 bits4 bits (Q4_K_M)
Llama 3.2 1B1.236 millones2,3 GiB1,2 GiB0,7 GiB
Llama 3.1 8B8.030 millones15,0 GiB7,95 GiB (archivo real)4,58 GiB (archivo real)
Gemma 3 27B27.432 millones—26,74 GiB (archivo real)15,41 GiB (archivo real)
Qwen3 32B32.762 millones61,0 GiB32,43 GiB (archivo real)18,40 GiB (archivo real)
Llama 3.3 70B70.554 millones131,4 GiB69,8 GiB40,2 GiB

En consecuencia, la lectura práctica es clara: un modelo de 70B en 16 bits necesita más de 130 GiB, que no caben en ninguna tarjeta de escritorio, mientras que el mismo modelo en 4 bits cabe en una tarjeta de 48 GB. De ahí que cuantizar, es decir, guardar los pesos con menos bits, sea lo que hace posible la IA local, a cambio de una pérdida de calidad que en 8 bits apenas se nota y en 4 bits suele ser aceptable.

Cuánto ocupa el contexto

En segundo lugar está el contexto, que suele olvidarse. Concretamente, cada token de la conversación guarda en la memoria dos vectores por capa del modelo, la llamada caché KV. Además, su tamaño se calcula con la arquitectura publicada en el archivo de configuración de cada modelo: capas × cabezas de atención de clave y valor × dimensión × 2 × 2 bytes.

ModeloPor token8.000 tokens32.000 tokens128.000 tokens
Llama 3.2 1B32 KiB0,25 GiB1 GiB4 GiB
Llama 3.1 8B128 KiB1 GiB4 GiB16 GiB
Qwen3 32B256 KiB2 GiB8 GiB32 GiB
Llama 3.3 70B320 KiB2,5 GiB10 GiB40 GiB

Es decir, un modelo de 8B que pesa 4,58 GiB necesita otros 16 GiB si se le pide su contexto máximo de 128.000 tokens. En el laboratorio lo comprobamos con el modelo de 8B: con un contexto de 2.048 tokens ocupaba 5,3 GB, con 8.192 subió a 6,3 GB y con 32.768 llegó a 9,5 GB, según ollama ps. Así, la diferencia entre 2.048 y 32.768 tokens fue de 3,9 GiB, muy cerca de los 3,75 GiB que da el cálculo (30.720 tokens × 128 KiB).

La fórmula para estimar la VRAM para IA

Con las dos tablas anteriores se puede estimar la memoria de cualquier GPU para IA:

VRAM necesaria ≈ pesos del modelo + caché del contexto + 1 o 2 GB de margen.

Por ejemplo, Qwen3 32B en 4 bits con 8.000 tokens de contexto necesita unos 18,4 + 2 + 1 = 21,4 GiB: cabe en una tarjeta de 24 GB. En cambio, con 32.000 tokens sube a 27,4 GiB y ya pide una de 32 GB. En definitiva, este cálculo explica la tabla del principio y sirve para cualquier modelo nuevo: basta con mirar el tamaño de su archivo y su archivo de configuración.

Entrenar con una GPU para IA no es lo mismo que usarla

Ahora bien, todo lo anterior vale para inferencia, es decir, para usar un modelo ya entrenado. En cambio, entrenar o ajustar un modelo completo pide mucho más: además de los pesos, hay que guardar los gradientes y el estado del optimizador. Con el optimizador Adam en precisión mixta, el trabajo ZeRO de Microsoft calcula 16 bytes por parámetro, así que ajustar por completo un modelo de 8B necesitaría unos 128 GB, sin contar el contexto. Por eso los ajustes en equipos propios se hacen con técnicas como LoRA o QLoRA, que entrenan solo una pequeña parte de los pesos, y los entrenamientos grandes se hacen en la nube o en servidores con varias GPU de centro de datos.

CUDA vs ROCm vs Intel: tres plataformas de GPU para IA

Sin embargo, NVIDIA no es la única opción. AMD tiene ROCm, su plataforma abierta, mientras que Intel apuesta por oneAPI y por OpenVINO. La comparación de CUDA vs ROCm ya no es la de hace unos años: las dos funcionan con PyTorch y con Ollama. Aun así, la diferencia está en la cantidad de software probado y en los sistemas operativos.

AspectoNVIDIA CUDAAMD ROCmIntel (XPU y OpenVINO)
Versión vigente (18-11-2026)CUDA 13.5 (4-11-2026)ROCm 10.2.0 (18-11-2026)PyTorch 2.15 con XPU · OpenVINO 2026.4
PyTorch 2.15 estableSí, en Linux y Windows (CUDA 13.2 y 13.4)Sí en Linux (ROCm 10.0); en Windows, paquetes de AMDSí, en Windows 11, Ubuntu y WSL2
OllamaCompute capability 5.0 o superior y controlador 550 o posteriorLista propia de tarjetas en Linux y en WindowsPor Vulkan
Tarjetas de escritorioCasi todas desde Turing (2018)Radeon RX 9000 y RX 7900, Radeon AI PRO R9700Arc serie A y B, Arc Pro B60
Software de tercerosEl más amplio: casi todo se prueba primero en CUDACreciendo; algunos proyectos llegan tardeMenor; fuerte en inferencia con OpenVINO

NVIDIA: la GPU para IA que menos ajustes pide

Ante todo, la ventaja de CUDA de NVIDIA es práctica: los tutoriales, los contenedores y las bibliotecas suponen una tarjeta NVIDIA. Por eso, si el equipo tiene que funcionar el primer día y no hay tiempo para investigar, una GPU para IA de NVIDIA es la opción con menos sorpresas.

AMD ROCm: una alternativa real, con más cuidado

ROCm 10.2.0 salió el mismo 18 de noviembre de 2026 y su matriz de compatibilidad incluye, entre otras, las Radeon RX 9070 XT, 9070 y 9060 XT, la RX 7900 XTX, la Radeon AI PRO R9700 de 32 GB y las Instinct MI300X, MI325X y MI350X de centro de datos. En la comparación de CUDA vs ROCm, hay dos detalles que conviene conocer antes de elegir AMD:

  • Windows: la página de PyTorch dice «ROCm is not available on Windows», pero las notas de ROCm 10.2 ofrecen PyTorch 2.15 para Windows en las Radeon RX 7000 y RX 9000 con paquetes publicados por AMD. Es decir, funciona, aunque fuera del instalador estándar.
  • Ollama en Windows: su lista de tarjetas AMD para Windows incluye la serie RX 7000 y no menciona ninguna RX 9000, aunque ROCm sí las soporta. En Linux, en cambio, las lista todas.

Por otra parte, una curiosidad que confunde al principio: en PyTorch, las tarjetas AMD se usan con las mismas instrucciones que las de NVIDIA (torch.cuda), porque ROCm traduce esas llamadas. Por eso un script escrito para CUDA suele funcionar sin cambios en una Radeon compatible.

Intel: una GPU para IA local con mucha memoria

Por su parte, Intel ofrece soporte nativo en PyTorch para sus tarjetas Arc y para la gráfica de los Core Ultra, con el dispositivo xpu, además de OpenVINO para optimizar modelos ya entrenados. La Arc Pro B60, con 24 GB y 200 W, y la Arc B580, con 12 GB, ofrecen mucha memoria con un consumo moderado. Aun así, el catálogo de software probado es el más corto de los tres.

Apple y la memoria unificada

Por último, los Mac con chips de Apple comparten la memoria entre el procesador y la gráfica, así que un equipo con mucha memoria puede cargar modelos grandes. Además, Ollama los acelera con Metal. Ahora bien, CUDA no existe en macOS: PyTorch lo dice sin rodeos («CUDA is not available on MacOS»), así que el software que solo funciona con CUDA no corre ahí. La diferencia entre arquitecturas de procesador se explica en la guía de AMD64 vs ARM64.

Tarjeta gráfica para IA: consumo o estación de trabajo

Una vez claro cuánta memoria hace falta, queda elegir la familia de la tarjeta gráfica para IA. Así, NVIDIA separa sus tarjetas GeForce, pensadas para juegos y creadores, de las RTX PRO, pensadas para estaciones de trabajo. A continuación, las cifras oficiales de las tarjetas actuales:

TarjetaVRAMMemoria con ECCConsumo máximo
GeForce RTX 50608 GB GDDR7No145 W
GeForce RTX 5060 Ti8 o 16 GB GDDR7No180 W
GeForce RTX 507012 GB GDDR7No250 W
GeForce RTX 5070 Ti16 GB GDDR7No300 W
GeForce RTX 508016 GB GDDR7No360 W
GeForce RTX 509032 GB GDDR7No575 W
RTX PRO 2000 Blackwell16 GB GDDR7Sí70 W
RTX PRO 4000 Blackwell24 GB GDDR7Sí145 W (70 W en la versión compacta)
RTX PRO 4500 Blackwell32 GB GDDR7Sí200 W
RTX PRO 5000 Blackwell48 o 72 GB GDDR7Sí300 W
RTX PRO 6000 Blackwell96 GB GDDR7Sí600 W (300 W en la versión Max-Q)

Fuera de NVIDIA, por ejemplo, la Radeon AI PRO R9700 trae 32 GB, la Radeon RX 9070 XT 16 GB, la Intel Arc Pro B60 24 GB y la Arc B580 12 GB. Además, hay un formato distinto: el DGX Spark de NVIDIA, un equipo pequeño con 128 GB de memoria unificada, que según el fabricante maneja modelos de hasta 200.000 millones de parámetros, con una fuente de 240 W.

Qué cambia en una tarjeta de estación de trabajo

En realidad, la diferencia no está en CUDA, que es el mismo, sino en cuatro cosas:

  1. Más memoria por vatio: la RTX PRO 4500 da los mismos 32 GB que una RTX 5090 con 200 W en lugar de 575 W, lo que cambia la fuente de poder, la ventilación y el ruido del equipo.
  2. Memoria con corrección de errores (ECC): detecta y corrige fallos de memoria. Sobre todo importa en trabajos largos, donde un error silencioso puede estropear horas de cálculo.
  3. Tamaño y consumo: las versiones compactas y Max-Q de la gama RTX PRO consumen 70 o 300 W, lo que permite instalar varias en un mismo servidor sin rediseñar la alimentación ni la refrigeración.
  4. Controladores certificados por fabricantes de software profesional, algo que pesa en diseño e ingeniería más que en IA.

Para un equipo de pruebas, en resumen, una GeForce con memoria suficiente es razonable. En cambio, para un servidor que va a funcionar todo el día, con varias personas usándolo, la tarjeta de estación de trabajo suele compensar por consumo, ECC y tamaño. Conviene recordar, además, que la RTX 5090 pide una fuente de unos 1.000 W según NVIDIA, así que conviene revisar el equipo antes de comprarla. Finalmente, para el procesador que la acompaña, la guía Intel vs AMD explica cómo elegir.

Cómo comprobar que la GPU para IA funciona

Antes de culpar al modelo, primero conviene comprobar cada capa por orden: la tarjeta, el controlador, la biblioteca y la aplicación. De hecho, estas órdenes son las mismas que usan los equipos de soporte.

El controlador y la tarjeta

En Windows o Linux con una tarjeta NVIDIA, nvidia-smi muestra la tarjeta, la memoria usada y el controlador. La cifra «CUDA Version» que aparece arriba es la versión máxima de CUDA que admite ese controlador, no la que está instalada:

nvidia-smi
nvidia-smi --query-gpu=name,memory.total,memory.used,driver_version,compute_cap --format=csv

Asimismo, en Windows se ve en el Administrador de tareas, en la pestaña Rendimiento, con la memoria dedicada de la GPU; la guía del Administrador de tareas explica cómo leerla.

El toolkit y PyTorch

En cuanto al toolkit, para saber cuál hay instalado, si lo hay, se usa nvcc --version. Luego, para saber si PyTorch ve la tarjeta:

python -c "import torch; print(torch.__version__, torch.version.cuda, torch.cuda.is_available())"
python -c "import torch; print(torch.cuda.get_device_name(0))"

Si la respuesta es False, entonces casi siempre se instaló la versión de PyTorch sin GPU. En una tarjeta Intel la comprobación es torch.xpu.is_available(), y en una AMD con ROCm sirve la misma de CUDA, con torch.version.hip en lugar de torch.version.cuda.

Ollama

En Ollama, la orden ollama ps dice dónde quedó cargado cada modelo. Esta es la salida real del laboratorio, sin tarjeta dedicada:

NAME           ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL              
llama3.1:8b    46e0c10c039e    9.5 GB    100% CPU     32768      llamacpp    9 minutes from now

En concreto, 100% GPU significa que el modelo cabe entero en la tarjeta; 100% CPU, que está en la memoria del sistema, y un reparto como 48%/52% CPU/GPU, que no cabe y una parte se quedó fuera. Ese último caso es, sin embargo, el más engañoso: el modelo funciona, pero mucho más lento de lo esperado.

Docker y WSL

Por otro lado, para usar la tarjeta desde contenedores hace falta el NVIDIA Container Toolkit. A continuación, una vez instalado, NVIDIA indica cómo configurarlo y probarlo:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

Si los contenedores son nuevos para usted, entonces la guía de Docker explica lo básico. Y en Windows con WSL 2, además, hay una regla que evita muchas horas perdidas: el controlador se instala solo en Windows. La guía de CUDA en WSL lo dice así: «you must not install any NVIDIA Linux GPU driver within WSL». Así, dentro de WSL solo se instala el toolkit, y NVIDIA recomienda ahora el paquete cuda-toolkit, porque el repositorio específico para WSL no trae CUDA 13.4 ni posteriores.

Errores frecuentes con una GPU para IA

Estos son los mensajes que más aparecen al poner en marcha una GPU para IA, con su causa más probable:

Mensaje o síntomaCausa habitualQué hacer
CUDA out of memoryEl modelo, el contexto o el lote no caben en la VRAMReducir el contexto, usar un modelo cuantizado o uno más pequeño
CUDA driver version is insufficient for CUDA runtime versionEl controlador es más antiguo que el CUDA que pide la aplicaciónActualizar el controlador (580 o superior para CUDA 13)
no kernel image is available for execution on the deviceLa aplicación no se compiló para la compute capability de la tarjetaUsar una versión compatible con la tarjeta; las anteriores a Turing no tienen CUDA 13
torch.cuda.is_available() devuelve FalseSe instaló PyTorch sin soporte de GPU o falta el controladorReinstalar PyTorch desde el índice de CUDA y revisar nvidia-smi
ollama ps dice 100% CPULa tarjeta no se detectó, no es compatible o no hay tarjetaRevisar el controlador y la lista de tarjetas compatibles de Ollama
could not select device driver "" with capabilities: [[gpu]]Docker no tiene el NVIDIA Container ToolkitInstalarlo y configurar Docker con nvidia-ctk
La tarjeta desaparece en WSL tras instalar paquetesSe instaló un controlador de Linux dentro de WSLQuitar el controlador de WSL y dejar solo el de Windows

GPU para IA propia o en la nube: cuándo conviene cada una

En general, comprar una GPU para IA tiene sentido cuando se va a usar muchas horas; la nube, cuando el uso es esporádico o cuando se necesita más memoria de la que cabe en un equipo. Para comparar, a continuación están los precios por hora bajo demanda, en Linux, consultados el 18 de noviembre de 2026 en las listas oficiales de AWS y de Azure para regiones de Estados Unidos:

InstanciaGPU y memoriaPor horaJornada laboral (176 h al mes)Todo el mes (730 h)
AWS g6.xlarge1 NVIDIA L4, 24 GB0,8048 USD141,64 USD587,50 USD
AWS g6e.xlarge1 NVIDIA L40S, 48 GB1,861 USD327,54 USD1.358,53 USD
Azure NC24ads A100 v41 NVIDIA A100, 80 GB3,673 USD646,45 USD2.681,29 USD

Por consiguiente, la cuenta para decidir es sencilla: si el coste de un año de nube supera el de la tarjeta, el equipo que la aloja y la electricidad, comprar sale a cuenta. Como referencia del consumo, por ejemplo, una RTX 5090 a plena carga durante una jornada laboral de 176 horas al mes gasta unos 101 kWh solo en la tarjeta (575 W × 176 h). En sentido contrario, la nube gana cuando hay que entrenar unas semanas al año, cuando se necesitan 80 GB o más de memoria o cuando no hay quien administre el equipo.

Además, hay una razón que no sale en la factura: ejecutar un modelo en un servidor propio mantiene los datos dentro de la empresa. Por ejemplo, para documentos internos o información de clientes, ese control puede pesar más que el precio. Si se usa la nube, conviene revisar dónde se guardan los datos y quién tiene acceso, igual que con cualquier otro servicio.

GPU para IA en la empresa: cómo encaja con la infraestructura

Una GPU para IA en una empresa rara vez vive sola en un escritorio. Por el contrario, lo habitual es instalarla en un servidor que varias personas usan a la vez, a menudo dentro de una máquina virtual o de contenedores, con copias de seguridad, monitoreo y control de acceso como el resto de la infraestructura. Por eso, antes de comprar conviene responder cinco preguntas:

  1. Qué modelos se van a usar y con qué contexto: con eso y la fórmula de la VRAM se calcula la memoria.
  2. Cuántas personas lo usarán a la vez: cada conversación simultánea suma su propia caché de contexto.
  3. Dónde va a vivir: un servidor necesita fuente, refrigeración y espacio para la tarjeta; uno virtualizado, además, que el hipervisor pueda entregarle la GPU a la máquina virtual. Las guías de virtualización de servidores, Proxmox e Hyper-V explican esa base.
  4. Qué sistema operativo: Linux sigue siendo el entorno con más soporte para CUDA y ROCm; Windows funciona, sobre todo con NVIDIA, y WSL 2 sirve de puente. Para el día a día en Linux, la guía de comandos avanzados de Linux es un buen punto de apoyo.
  5. Quién lo administra: controladores, versiones de CUDA, actualizaciones y seguridad requieren mantenimiento, igual que cualquier servidor.

Cómo lo aborda KHARONTE

En KHARONTE administramos la infraestructura sobre la que corren estas cargas: servidores, virtualización, almacenamiento y redes, dentro de nuestra línea de infraestructura TI. Por ejemplo, ayudamos a dimensionar el servidor, a preparar el sistema operativo y los controladores, y a integrarlo con las copias de seguridad y el monitoreo. Eso sí, no comercializamos los equipos: le ayudamos a elegir con criterio técnico y el equipo lo compra la empresa a quien prefiera.

Además, esa administración forma parte de nuestros servicios administrados de TI, con la misma mesa de ayuda TI que atiende los casos de los usuarios. Si prefiere delegar la operación completa, el outsourcing de infraestructura de TI cubre el día a día de los servidores, y en nuestra página de servicios de TI para empresas está el portafolio completo.

Hablemos de la TI de su empresa

Cuéntenos qué necesita su operación y le enviamos una propuesta por escrito. Cada línea del portafolio se contrata por separado.

Compartir este artículo

Últimas entradas

Escríbanos ahora