- Ollama lets you run AI models like Llama, Mistral, and Gemma locally via a single command-line tool
- Instala en segundos:
curl https://ollama.com/install.sh | sh(Linux/macOS) o descarga el instalador de Windows - Los modelos de nivel básico necesitan 4-8 GB de VRAM; los modelos de 70B de nivel producción necesitan ~40 GB de VRAM a cuantización de 4 bits
- Punto de equilibrio frente a APIs en la nube: ~500K tokens/mes para un modelo de 70B, menos para modelos más pequeños
Ollama es una herramienta de línea de comandos que empaqueta modelos de lenguaje de IA en contenedores que puedes ejecutar en tu propio hardware. En lugar de enviar prompts a OpenAI, Anthropic o Google y pagar por token, descargas un modelo una vez—Llama 3.3 70B, Mistral 7B, Phi-4, o cualquiera de docenas de modelos compatibles—e la inferencia se ejecuta completamente en tu GPU o CPU. Mantienes tus datos locales, no pagas nada por solicitud después del costo inicial del hardware, y retienes control total sobre el comportamiento del modelo y la disponibilidad.
La contrapartida es el hardware: necesitas suficiente VRAM para sostener el modelo. Un modelo de 7B parámetros cuantizado a 4 bits requiere alrededor de 4-5 GB de memoria GPU, que cabe en una RTX 4060 consumer. Un modelo de 70B necesita aproximadamente 40 GB a 4 bits, requiriendo una tarjeta de workstation como la RTX 6000 Ada o configuración multi-GPU. El Calculadora de VRAM muestra requisitos exactos para cualquier tamaño de modelo y nivel de cuantización.
Instalando Ollama
Linux
Ejecuta el script de instalación oficial, que detecta tu distribución y configura el ollama servicio:
curl -fsSL https://ollama.com/install.sh | sh
Esto instala el binario en /usr/local/bin/ollama y registra un servicio systemd. El servicio se inicia automáticamente y sobrevive reinicios. Para verificar:
ollama --version
Si estás detrás de un proxy corporativo o necesitas instalación manual, descarga el binario directamente desde GitHub releases y colócalo en tu PATH.
macOS
Descargue el .dmg instalador desde ollama.com/download, ábrelo y arrastra Ollama a Aplicaciones. La app de barra de menú inicia el servidor local en localhost:11434. Para usar Ollama desde Terminal:
ollama --version
macOS users on Apple Silicon (M1/M2/M3/M4) can run models using unified memory instead of discrete VRAM. A Mac Studio with 192 GB unified memory can serve a Llama 4 Maverick (240 GB at 4-bit) by swapping to disk, though inference speed drops significantly when exceeding physical RAM.
Windows
Descargue el OllamaSetup.exe instalador desde ollama.com/download y ejecútalo. El instalador añade ollama.exe a tu PATH e inicia el servicio de fondo. Abre PowerShell o Command Prompt y verifica:
ollama --version
Windows Subsystem for Linux (WSL2) con paso de GPU es compatible: instala Ollama dentro de tu distribución WSL2 siguiendo las instrucciones de Linux, y asegúrate de tener drivers NVIDIA CUDA instalados en el host de Windows.
Ejecutando tu primer modelo
Descarga y ejecuta Llama 3.1 8B, un modelo de seguimiento de instrucciones capaz que cabe en 5 GB de VRAM:
ollama run llama3.1:8b
Ollama descarga el modelo (aproximadamente 4,7 GB) a ~/.ollama/models (Linux/macOS) o %USERPROFILE%\.ollama\models (Windows), lo carga en memoria y te lleva a un prompt interactivo. Escribe un mensaje, presiona Enter, y el modelo genera una respuesta localmente. Presiona Ctrl+D o escribe /adios para salir.
Para ejecutar un modelo en segundo plano y consultarlo vía API:
ollama serve
Esto inicia un servidor en http://localhost:11434. En otra terminal:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Explain TCP congestion control",
"stream": false
}'
La respuesta viene en JSON con la finalización completa en el campo response .
Selección de Modelos y Requisitos de VRAM
Ollama soporta modelos de peso abierto de Meta, Mistral AI, Microsoft, Google, Alibaba y otros. La tabla abajo muestra opciones populares y su huella de memoria a cuantización de 4 bits, tomada de la base de datos de requisitos de VRAM:
| Modelo | Parámetros | Longitud del contexto | VRAM en 4 bits | Caso de Uso |
|---|---|---|---|---|
| Llama 3.1 8B | 8B | 128 K | ~5 GB | Seguimiento general de instrucciones, cabe en GPUs consumer |
| Mistral 7B | 7B | 32K | ~4,5 GB | Inferencia rápida, buena generación de código |
| Phi-4 | 14B | 16K | ~9 GB | Razonamiento y matemáticas, eficiente para su tamaño |
| Mistral NeMo 12B | 12B | 128 K | ~7,5 GB | Tareas de contexto largo, multilingüe |
| Qwen3 8B | 8B | 128 K | ~5 GB | Fuerte multilingüe, competitivo con modelos más grandes |
| Gemma 3 4B | 4 mil millones | 128 K | ~3 GB | Modelo más pequeño viable, se ejecuta en GPUs integradas |
| Llama 3.3 70B | 70B | 128 K | ~40 GB | Razonamiento de nivel producción, equiparable a GPT-4 |
| DeepSeek R1 Distill Llama 70B | 70B | 128 K | ~40 GB | Modelo de razonamiento destilado, desempeño fuerte en STEM |
Para listar todos los modelos disponibles en tu sistema:
ollama list
Para eliminar un modelo y liberar espacio en disco:
ollama rm llama3.1:8b
Las etiquetas de modelo siguen el formato nombre:tamaño o nombre:versión. Omitir la etiqueta predetermina a :latest. Consulta el catálogo completo en mejores LLMs locales para Ollama.
Comandos Comunes y Configuración
Ejecuta un modelo con parámetros personalizados:
ollama run llama3.1:8b --temperature 0.7 --top-p 0.9
Pasa un prompt directamente sin entrar en modo interactivo:
ollama run llama3.1:8b "Write a Python function to parse ISO 8601 dates"
Carga un modelo en memoria sin solicitar entrada (útil para precalentamiento antes de servir solicitudes):
ollama pull llama3.1:8b
Verifica qué modelos están actualmente cargados en VRAM:
ollama ps
Establece el número de capas de GPU a descargar (útil para descarga parcial a GPU cuando VRAM es limitada):
OLLAMA_NUM_GPU=35 ollama run llama3.3:70b
Por defecto, Ollama descarga todas las capas a GPU. Reducir OLLAMA_NUM_GPU mantiene algunas capas en CPU, intercambiando velocidad por menor uso de VRAM. Un modelo de 70B con 20 capas en GPU podría necesitar solo 20 GB de VRAM pero ejecutarse 3-5× más lentamente.
Para cambiar el directorio de almacenamiento del modelo, establece OLLAMA_MODELS antes de ejecutar:
export OLLAMA_MODELS=/mnt/nvme/ollama_models ollama pull llama3.1:8b
Ollama usa archivos mapeados en memoria, por lo que los modelos se cargan más rápido desde NVMe que desde SSD SATA. Espera 10-15 segundos para cargar un modelo de 8B en un sistema moderno, 60-90 segundos para un modelo de 70B.
Requisitos de Hardware
El factor limitante es VRAM, no la capacidad de cómputo. Un modelo de 70B cuantizado a 4 bits necesita 40 GB de memoria GPU pero se ejecuta adecuadamente en arquitecturas de generación anterior. Un RTX 3090 (24 GB) puede servir dos modelos de 8B o un modelo de 30B. Un RTX 4090 (24 GB) maneja lo mismo con 30-40% más rendimiento gracias a los núcleos tensores mejorados de Ada Lovelace.
GPUs recomendadas por presupuesto:
- Entrada ($300-500): RTX 4060 Ti 16 GB maneja modelos de 8B y 12B
- Prosumer ($1000-1500): RTX 4090 o A4000 Ada ejecuta modelos de 30B cómodamente
- Estación de trabajo ($4000-7000): RTX 6000 Ada (48 GB) o dual RTX 4090 para modelos de 70B
- Servicio multimodelo ($10K+): A100 80GB o H100 80GB para ejecutar múltiples instancias de 70B
Consulta el Guía de compra de GPU para comparaciones detalladas. Los usuarios de Apple Silicon se benefician de memoria unificada: un M2 Ultra con 192 GB puede ejecutar modelos que requerirían una configuración NVIDIA de $25K, aunque el rendimiento de tokens es 2-3× menor que un A100.
Comparación de Costos: Local vs API
Las APIs en la nube cobran por token. Claude Sonnet 5 cuesta $2,00 por millón de tokens de entrada y $10,00 por millón de tokens de salida. Una sesión típica de asistente de codificación genera 500K tokens por mes (250K entrada, 250K salida), costando $3,000 anuales.
Un modelo Llama 3.3 70B alojado localmente en una estación de trabajo de $6,000 (RTX 6000 Ada) tiene costo marginal cero después del hardware. El punto de equilibrio es aproximadamente 500K tokens por mes. Por debajo de eso, las APIs son más baratas; por encima, la inferencia local gana. Usa el calculadora de autohospedaje para modelar su carga de trabajo específica.
Los modelos más pequeños se equilibran más rápido. Un modelo de 8B en un RTX 4060 Ti de $500 se amortiza en 3-4 meses comparado con APIs en la nube a uso moderado (100K tokens/mes). La ventaja es la privacidad: tu código, documentos y datos internos nunca salen de tu red.
Preguntas Frecuentes
¿Puede Ollama ejecutar modelos solo en CPU?
Sí, pero la inferencia es 10-50× más lenta dependiendo del tamaño del modelo. Un modelo de 8B genera 1-3 tokens por segundo en un Ryzen o Intel moderno, comparado con 40-80 tokens/seg en un RTX 4090. Establece OLLAMA_NUM_GPU=0 para forzar modo solo CPU. Práctico para procesamiento por lotes o uso de bajo tráfico, inutilizable para chat interactivo.
¿Cómo afecta la cuantización a la calidad?
La cuantización de 4 bits reduce el tamaño del modelo en un 75% con pérdida mínima de calidad—los benchmarks muestran degradación de precisión del 1-3% en MMLU y HumanEval comparado con FP16. La cuantización de 3 bits (Q3) reduce aún más el tamaño pero degrada notablemente el razonamiento e instrucciones. Ollama predetermina a Q4_0, que equilibra calidad y VRAM. Puedes descargar versiones de 8 bits o FP16 especificando etiquetas como llama3.1:8b-q8_0, duplicando los requisitos de VRAM.
¿Puedo ajustar modelos con Ollama?
No. Ollama es un runtime de inferencia, no un framework de entrenamiento. Para ajustar un modelo, usa herramientas como Hugging Face Transformers, Axolotl o LLaMA Factory, exporta el resultado en formato GGUF e impórtalo en Ollama mediante un Modelfile. El proceso está documentado en el repositorio de GitHub de Ollama bajo docs/import.md.
¿Qué es la API de Ollama y cómo la uso?
Ollama expone una API REST compatible con OpenAI en localhost:11434. El bloque /api/generate el endpoint maneja completaciones, y /api/chat soporta conversaciones multiturno con historial de mensajes. Puedes integrarlo en bases de código existentes intercambiando la URL base: en lugar de https://api.openai.com/v1, apunta tu cliente a http://localhost:11434. Muchos frameworks como LangChain y LlamaIndex tienen soporte nativo de Ollama.
¿Cuántas solicitudes por segundo puede manejar Ollama?
Un modelo cargado atiende una solicitud a la vez. El rendimiento depende del tamaño del modelo y el hardware: un RTX 4090 genera 60-80 tokens/seg para un modelo de 8B, 15-25 tokens/seg para un modelo de 70B. Para manejar usuarios concurrentes, amplía horizontalmente (múltiples máquinas) o usa batching en la capa de aplicación. Ollama no tiene cola de solicitudes incorporada; necesitas un proxy inverso como NGINX o un balanceador de carga.
¿Puedo ejecutar varios modelos simultáneamente?
Sí, si tienes suficiente VRAM. Carga un segundo modelo con ollama run en una nueva terminal mientras el primero se ejecuta. Ollama comparte la GPU entre modelos. Dos modelos de 8B (10 GB totales) se ejecutan cómodamente en un RTX 4090 de 24 GB. Cambiar entre modelos es casi instantáneo si ambos ya están cargados; de lo contrario, espera tiempos de carga de 10-90 segundos dependiendo del tamaño del modelo.