Requisitos de VRAM para cada modelo de lenguaje grande (LLM) importante en 2026 (hoja de referencia sobre cuantización)

La pregunta más común que recibimos de quienes comienzan con modelos de lenguaje locales en 2026 no es «¿qué modelo debería usar?», sino «¿funcionará este modelo en mi GPU?».

Esta guía es la respuesta. Hemos probado todos los principales modelos de lenguaje abiertos en todas las cuantizaciones habituales, utilizando hardware que va desde una RTX 3060 de 12 GB hasta una H100 de 80 GB; lo que sigue es la hoja de trucos que hubiéramos deseado tener al comenzar.

Un recordatorio para los impacientes: La VRAM es la limitación determinante.Si el modelo más la caché KV y el contexto no caben en la VRAM, el rendimiento de la inferencia se desploma drásticamente. Todo lo expuesto a continuación supone que desea realizar la inferencia exclusivamente en la GPU; si está dispuesto a descargar parte del procesamiento a la CPU, divida el rendimiento por un factor de 5 a 10.

Tabla de referencia rápida

Cada gran modelo lingüístico abierto (LLM) de 2026 y sus necesidades de VRAM en niveles comunes de cuantización. Los valores corresponden únicamente a los pesos del modelo, con un contexto de 8 K. Añada 1–2 GB adicionales para margen del caché KV por cada 8 K de contexto que realmente utilice.

Una nota práctica: para uso diario, Q4_K_M es el equilibrio recomendado entre tamaño y calidad. La pérdida de calidad respecto a FP16 es pequeña (aumento típico de la perplejidad < 2 %) y los ahorros de memoria son enormes (~3,3× más pequeño). Q5_K_M ofrece una calidad marginalmente superior con un aumento de ~17 % en el consumo de memoria. Q3 e IQ2 deben usarse únicamente en casos de emergencia, ya que la calidad se degrada notablemente.

Memoria de caché KV: la parte que todos olvidan

Las cifras anteriores corresponden únicamente a los pesos del modelo. La Caché KV —la memoria activa que almacena todos los tokens de su conversación— también reside en la VRAM y crece linealmente con la longitud del contexto.

Tamaño aproximado de la caché KV por cada 1 K tokens de contexto, en FP16:

La cuantización de la caché KV (una opción disponible en llama.cpp y vLLM en 2026) reduce este consumo aproximadamente entre 2 y 4 veces, con un ligero costo en calidad. La mayoría de las configuraciones productivas actuales emplean una caché KV en formato Q8: prácticamente no afecta la calidad y ahorra una cantidad sustancial de VRAM en contextos largos.

Si planea usar un contexto de 32 K o más incluya la caché KV en sus cálculos de VRAM antes de elegir su GPU.

Matriz de compatibilidad de GPU

¿Qué modelos caben cómodamente en cada GPU común, con las cuantizaciones recomendadas y un contexto de 8 K? «Cómodamente» significa modelo + caché KV + 1 GB de margen para el sistema.

Los patrones que debe interiorizar:

1. 12 GB es el umbral mínimo de entrada. Debajo de esta capacidad, te ves limitado a modelos diminutos que no justifican una GPU dedicada.
2. 24 GB es el punto de inflexión. Es el nivel más económico en el que resulta posible ejecutar Llama 3 70B (con cuantizaciones comprometidas).
3. 32 GB permite ejecutar correctamente el modelo de 70B. Esta es la razón fundamental para elegir la RTX 5090 frente a la 4090.
4. 48 GB constituye un rango cómodo. La mayoría de las tareas que deseas realizar caben sin problemas.
5. 128 GB unificados representan el límite para hardware de consumo. Por encima de este umbral, ya estás adquiriendo hardware de servidor.

Elegir la cuantización adecuada para tu hardware

La cuantización correcta no siempre es «la mayor que quepa». La calidad importa, y en ocasiones un modelo más pequeño con una mejor cuantización supera a uno más grande con una peor.

Clasificación aproximada de calidad (basada en perplexity; cuanto menor, mejor):

• FP16 / BF16 — Original. Referencia de calidad base.
• Q8_0 — Aumento de ~0,3 % en la perplexity. Prácticamente indistinguible.
• Q6_K — Aumento de ~0,5 %. Indistinguible en la práctica.
• Q5_K_M — Aumento de ~1,0 %. Ligera pérdida de calidad, pero sigue siendo muy alta.
• Q4_K_M — Aumento de ~1,5–2,5 %. Recomendada para la mayoría de los usuarios.
• Q4_K_S — Aumento de ~3 %. Peor que Q4_K_M para un tamaño similar, de forma perceptible.
• Q3_K_M — Aumento de ~5–8 %. Salida afectada de forma visible.
• Q3_K_S — Aumento de ~10 %. Úsalo únicamente si Q4 no cabe en tu hardware.
• IQ2_XXS — Aumento de ~15–25 %. Último recurso.

Regla general: prefiere un modelo con menos parámetros en Q5_K_M antes que uno más grande en Q3_K_S para tareas cotidianas. Un Qwen 32B en Q5 suele superar a un Llama 3 70B en IQ2_XXS en benchmarks del mundo real, pese a que este último suene más impresionante sobre el papel.

Excepción: tareas de programación y razonamiento donde la ventaja de conocimiento bruto del modelo más grande suele resistir bien una cuantización intensa. En concreto, para generación de código, incluso una versión Q3_K_S de un modelo de 70B puede superar a una versión Q5_K_M de 30B.

Modelos MoE — la excepción

Los modelos de mezcla de expertos (MoE), como Mixtral 8x22B y DeepSeek V3 presentan una asimetría que confunde a los principiantes:

• VRAM necesaria = parámetros totales (porque debes cargar todos los expertos)
• Cómputo utilizado = parámetros activos por token (mucho menor)

Mixtral 8x22B tiene 141 B totales / 39 B activos. Requiere más de 80 GB de VRAM para ejecutarse, pero su velocidad por token se acerca más a la de un modelo denso de 40 B.

DeepSeek V3 tiene un total de 236 mil millones de parámetros, de los cuales 21 mil millones están activos. Requiere más de 150 GB de VRAM, pero su velocidad por token se acerca a la de un modelo denso de 20 mil millones de parámetros. Por eso DeepSeek V3 es «rápido para su tamaño»: pagas el coste en VRAM, pero obtienes un descuento en potencia computacional.

Si tu hardware puede alojar un modelo MoE, suele ser la mejor opción. Si no puede, entonces lo que buscas es el modelo denso de la misma clase de parámetros.

Configuraciones rápidas según presupuesto

Para quienes desean una respuesta concreta, aquí tienes configuraciones probadas en cinco niveles de presupuesto para 2026:

El «nivel de mejor relación calidad-precio» en 2026 sigue siendo la RTX 3090 o 4090 usada: son las únicas GPUs de consumo cuya relación precio/VRAM resulta favorable, y ambas seguirán siendo capaces al menos hasta 2028.

Para un análisis exhaustivo sobre qué GPU elegir, consulta mejores GPUs para LLM locales en 2026.

Preguntas frecuentes

¿Cuánta VRAM necesito para ejecutar Llama 3 70B localmente en 2026?

Mínimo 24 GB para Llama 3 70B en Q3_K_S (calidad bastante reducida). Con 32 GB puedes ejecutar cómodamente Q4_K_M (la cuantización recomendada). Se requieren 40+ GB para Q5_K_M. Con 24 GB y un contexto de 8 K prácticamente no tienes margen de maniobra; ampliar el contexto a 32 K exige descargar parte al CPU o aplicar una cuantización más agresiva.

¿Cuál es la diferencia entre Q4_K_M y Q4_K_S?

Ambas son cuantizaciones de 4 bits del mismo modelo. Q4_K_M («medio») emplea 5 bits para algunos grupos críticos de pesos, lo que lo hace ligeramente mayor pero con una calidad notablemente superior a Q4_K_S («pequeño»). Para una cantidad casi idéntica de VRAM, se prefiere Q4_K_M. Q4_K_S solo tiene sentido cuando intentas ajustar un modelo dentro de un presupuesto muy ajustado de VRAM.

¿Puedo ejecutar un modelo de lenguaje de gran tamaño (LLM) que sea mayor que mi VRAM?

Sí, mediante la descarga a CPUla descarga parcial a la CPU (offloading), donde algunas capas del modelo se ejecutan en la CPU utilizando la memoria RAM del sistema en lugar de la VRAM de la GPU. La penalización en rendimiento es severa (5–10 veces más lenta), pero permite ejecutar modelos que, de otro modo, no cabrían. Es práctico para uso ocasional, pero resulta muy incómodo como entorno principal diario. Tanto llama.cpp como Ollama lo admiten de forma nativa mediante la opción n_gpu_layers .

¿Realmente importa la caché KV al planificar el uso de la VRAM?

Sí, especialmente con contextos largos. Por ejemplo, para Llama 3 de 70 mil millones de parámetros (70B) y un contexto de 32 K, la caché KV por sí sola ocupa aproximadamente 5 GB. Si ya estás al límite de tu VRAM, experimentarás un error de memoria insuficiente (OOM) en cuanto la conversación se vuelva larga. Planifica teniendo en cuenta la caché KV y considera la cuantización Q8 para dicha caché (opción disponible en los motores de inferencia modernos), que reduce su tamaño aproximadamente a la mitad.

¿Existe alguna forma de ejecutar Llama 3 de 405 mil millones de parámetros (405B) en casa?

Sí, pero necesitas más de 200 GB de memoria en cuantizaciones utilizables. Las opciones realistas para 2026 son: Mac Studio M4 Ultra con 512 GB de memoria ($12 000; lento por token, pero funcional), 8× RTX 4090 ($13 000; configuración compleja), Nvidia DIGITS ($3 000; diseñado específicamente para este propósito) o una combinación CPU + 256 GB de RAM DDR5 con una GPU de gama media para descarga parcial ($8 000; lenta). Consulta nuestra guía paso a paso sobre cómo ejecutar Llama 3 405B en casa.

¿Existen formatos de cuantización para 2026, además de GGUF, que deba conocer?

Sí: AWQ (Cuantización de pesos consciente de las activaciones) y GPTQ siguen siendo ampliamente utilizados, especialmente en despliegues con vLLM y TensorRT-LLM. En algunos casos ofrecen una calidad ligeramente superior a la de GGUF para el mismo número de bits. Sin embargo, para uso local por consumidores con llama.cpp / Ollama / LM Studio, GGUF sigue siendo el formato dominante en 2026 debido a su simplicidad y amplio soporte en herramientas.

¿Afectará la cuantización Q4 a la capacidad de programación?

Menos de lo que uno podría pensar, pero sí. Para tareas sencillas de autocompletado de código, Q4_K_M es prácticamente idéntico a FP16. Sin embargo, para razonamiento complejo y multietapa a través de una base de código completa, Q4 puede generar lógica peor que Q5+ en ocasiones. Si realizas programación seria con modelos locales, prefiere Q5_K_M y elige hardware que lo soporte.

Conclusión

Planificar la VRAM para LLM locales en 2026 no es complicado, pero sí recompensa la precisión. Primero selecciona la clase de parámetros (el tamaño del modelo que ofrece la capacidad que necesitas), luego elige la cuantización más ligera que ofrezca una calidad aceptable (normalmente Q4_K_M es la adecuada), después añade el espacio necesario para la caché KV según tu longitud real de contexto y, finalmente, elige una GPU cuya VRAM se ajuste a ese total.

Si solo recuerdas tres números, recuerda estos:

• 12 GB con 12 GB de VRAM puedes ejecutar modelos de 8 mil millones de parámetros (8B) sin problemas.
• 24 GB con 24 GB de VRAM puedes ejecutar modelos de 30 mil millones de parámetros (30B) con buenas cuantizaciones, y modelos de 70 mil millones (70B) de forma incómoda.
• 32 GB con 32 GB de VRAM puedes ejecutar modelos de 70 mil millones de parámetros (70B) con buenas cuantizaciones.

Todo lo que supere los 32 GB entra en el ámbito de servidores, y todo lo que quede por debajo de los 12 GB entra en el ámbito de dispositivos móviles o embebidos. La mayor parte de la actividad con LLM locales en 2026 ocurre en el rango de 12–32 GB, que coincide exactamente con el rango de GPUs para consumidores —por diseño, no por casualidad.