llamafile: Ejecuta cualquier modelo de lenguaje (LLM) como un único ejecutable portátil

llamafile es un único archivo ejecutable que contiene tanto un modelo de lenguaje como el entorno de ejecución (runtime) para su inferencia. Está construido sobre llama.cpp y Cosmopolitan Libc, por lo que el mismo archivo se ejecuta de forma nativa en Linux, macOS, Windows, FreeBSD y otros sistemas operativos —sin contenedores, sin entornos Python ni gestores de paquetes.

Cómo un único archivo se ejecuta en todos los sistemas operativos

llamafile se basa en dos tecnologías. llama.cpp proporciona el motor de inferencia en C++ para modelos en formato GGUF. Cosmopolitan Libc genera un binario políglota: un único conjunto de bytes que satisface simultáneamente el formato PE/COFF exigido por Windows, el formato ELF requerido por Linux y el encabezado Mach-O esperado por macOS. Al ejecutar el archivo, el cargador (loader) de cada sistema operativo identifica su propio encabezado válido y ejecuta el binario de forma nativa —sin capas de emulación ni traducción.

Los pesos del modelo se anexan a este binario mediante un contenedor compatible con ZIP. Dado que ZIP permite datos arbitrarios antes del registro del directorio central, el archivo GGUF se ubica al final sin corromper el ejecutable. En tiempo de inicio, el entorno de ejecución localiza los pesos buscando desde el final del archivo. Como efecto práctico adicional: puede inspeccionar o extraer los pesos de cualquier llamafile usando cualquier utilidad estándar de ZIP.

Descarga y ejecución de un llamafile

Los llamafiles precompilados se publican en Hugging Face por los autores de los modelos y están vinculados desde el repositorio de GitHub Mozilla-Ocho/llamafile. Los archivos usan la extensión .llamafile .

Linux y macOS

# Otorgar permisos de ejecución —los archivos descargados no tienen este permiso activado por defecto
chmod +x mistral-7b-instruct.llamafile

# Iniciar el servidor y la interfaz web (el navegador se abre automáticamente)
./mistral-7b-instruct.llamafile

# Inferencia CLI en una sola llamada, sin iniciar el servidor
./mistral-7b-instruct.llamafile -p "Explica llamafile en un solo párrafo"

El servidor escucha por defecto en 127.0.0.1:8080 . Para cambiar el puerto, use la opción --port 9000 ; para escuchar en todas las interfaces de red, use --host 0.0.0.0 --host 0.0.0.0./model.llamafile --help para ver todas las opciones disponibles, incluidas las que permiten desactivar la apertura automática de la pestaña del navegador al ejecutarse sin interfaz gráfica.

Windows

Windows exige que los ejecutables tengan la extensión .exe. Renombre el archivo antes de ejecutarlo:

ren mistral-7b-instruct.llamafile mistral-7b-instruct.llamafile.exe

A continuación, haga doble clic sobre él en el Explorador de archivos o ejecútelo desde el símbolo del sistema. Se abrirá automáticamente una pestaña del navegador.

El límite de 4 GB. El cargador PE de Windows no puede manejar ejecutables mayores de 4 GB. La mayoría de los modelos de 7B en cuantización Q8 o superior, y todos los modelos de 13B o mayores, superan este umbral. Si el archivo supera los 4 GB, Windows se negará a ejecutarlo. Sus opciones son: descargar una variante con cuantización más ligera (típicamente de 4–5 GB para un modelo de 7B, a menudo justo por debajo del límite), o descargar por separado el binario del entorno de ejecución (runtime) de llamafile y pasar el archivo GGUF como argumento independiente. Antes de elegir un modelo y su cuantización, consulte los Q4_K_M requisitos de VRAM y tamaño de archivo para los principales LLM para seleccionar la cuantización adecuada según su hardware. Ejecutar un llamafile sin la bandera

Interfaz web integrada

-p inicia un servidor HTTP y abre automáticamente su navegador predeterminado en http://localhost:8080 . La interfaz es una aplicación de página única completamente autónoma, sin dependencias externas de redes de distribución de contenido (CDN); funciona totalmente sin conexión. Ofrece:Configuración del indicador del sistema (system prompt)

• Parámetros de muestreo: temperatura, top-p, top-k y penalización por repetición
• Visualización del recuento de tokens
• Historial de conversación persistente dentro de la sesión actual
• Cualquier dispositivo de su red local (LAN) puede acceder a la interfaz si inició el servidor con

--host 0.0.0.0 --host 0.0.0.0.

API compatible con OpenAI

Mientras el servidor esté en ejecución, llamafile expone una API REST compatible con OpenAI en http://localhost:8080/v1. Cualquier cliente del SDK de OpenAI, LangChain o integración de LlamaIndex puede dirigirse a ella redefiniendo la URL base:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "local",
    "messages": [{"role": "user", "content": "Hola"}]
  }'

En Python, establezca base_url="http://localhost:8080/v1" y cualquier cadena no vacía como clave API al crear la instancia del cliente openai.OpenAI . El modelo el campo 'requests' se ignora: siempre se utiliza el modelo cargado.

Creación de un llamafile a partir de un archivo GGUF existente

Si ya dispone de un modelo GGUF —del ecosistema llama.cpp, de la caché local de Ollama o de una descarga de Hugging Face— puede empaquetarlo en un archivo llamafile autónomo. El proceso emplea la utilidad llamafile-zipalign incluida en el conjunto de herramientas llamafile:

1. Descargue el paquete de versiones de llamafile para su plataforma desde la página de versiones de GitHub.
2. Extraiga el binario independiente dellamafile (solo entorno de ejecución, sin modelo integrado).
3. Usa llamafile-zipalign para adjuntar su archivo GGUF a una copia del binario de tiempo de ejecución.
4. Marque el resultado como ejecutable y ejecute el archivo.

La sintaxis exacta de las banderas ha cambiado entre versiones. Consulte la sección oficial del README sobre la creación de llamafiles para conocer la sintaxis actual. El resultado es un único archivo portátil que puede distribuirse como cualquier otro binario.

llamafile frente a Ollama: cuándo usar cada uno

Ambas herramientas ejecutan modelos GGUF localmente y exponen APIs compatibles con OpenAI. Resuelven problemas distintos. Para un análisis más detallado del otro lado de esta comparación, consulte la Guía completa de Ollama documentación comparativa.

Elija llamafile cuando vaya a distribuirlo a una máquina que no controla, cuando deba ejecutarse en un entorno aislado (sin conexión a Internet) o cuando deba integrar un modelo en un proyecto que debe funcionar sin dependencias a nivel del sistema. Elija Ollama cuando gestione una biblioteca de modelos, desee actualizaciones automáticas o cambie frecuentemente entre modelos dentro de la misma sesión.

Si está evaluando si la inferencia local resulta económicamente viable para su carga de trabajo, la calculadora de punto de equilibrio entre alojamiento local y uso de API calculadora de costos de inferencia local

Requisitos de hardware

llamafile añade una sobrecarga insignificante respecto a llama.cpp. El cuello de botella siempre es el tamaño del modelo y su cuantización. llamafile detecta automáticamente los aceleradores disponibles al inicio: CUDA para GPUs NVIDIA, Metal para Apple Silicon y ROCm para AMD, y los utiliza de forma automática. Si no se detecta ninguna GPU, recurre a la inferencia en CPU usando instrucciones AVX2 o AVX-512, cuando están disponibles.

Un modelo de 7 mil millones de parámetros en cuantización Q4_K_M requiere aproximadamente 4–5 GB de VRAM para ejecutarse íntegramente en GPU. Utilice la Calculadora de VRAM calculadora de requisitos de hardware mejor Tarjetas gráficas para LLM locales guía para evaluar los requisitos específicos de cualquier modelo y cuantización antes de descargarlo. Para tomar decisiones de compra de hardware, la

Preguntas frecuentes

¿Puedo ejecutar llamafile en Apple Silicon?

Sí. llamafile genera un binario nativo Mach-O en Apple Silicon y utiliza automáticamente la aceleración GPU mediante Metal. El rendimiento es sólido para modelos de 7B y 13B; los modelos más grandes quedan limitados por la memoria unificada disponible. Un M2 Max o un M3 Pro con 36 GB de memoria unificada pueden ejecutar cómodamente modelos de clase 30B.

¿Admite llamafile modelos multimodales (de visión)?

llamafile se basa en llama.cpp, que sí soporta modelos de visión tipo LLaVA. Que un llamafile específico admita entrada de imágenes depende de si el modelo empaquetado es multimodal. Revise la ficha del modelo del archivo que descargue: dicha capacidad reside en los pesos, no en el entorno de ejecución.

¿Cómo detengo el servidor?

Prensa Ctrl+C en la terminal donde se esté ejecutando llamafile. Si lo inició haciendo doble clic en Windows o macOS, cierre la ventana de terminal que apareció o finalice el proceso desde el Administrador de tareas o el Monitor de actividad.

¿Puedo ejecutar llamafile como un servicio en segundo plano?

Sí. En Linux, envuélvalo en un archivo de unidad systemd. En macOS, cree un archivo plist para launchd. llamafile acepta señales Unix estándar y funciona con cualquier supervisor de procesos. Ejecute ./model.llamafile --help para encontrar la bandera que suprime la apertura automática de la pestaña del navegador al ejecutarse en un entorno sin interfaz gráfica (headless).

¿Es llamafile lo mismo que un archivo GGUF?

No. Un archivo GGUF contiene únicamente los pesos del modelo y requiere un entorno de ejecución independiente —como llama.cpp o Ollama— LM Studio, o similar, para ejecutarse. Un archivo llamafile agrupa los pesos y y el entorno de ejecución en un solo archivo. Dado que los pesos se adjuntan en formato ZIP, puede extraer el archivo GGUF sin procesar de cualquier archivo llamafile mediante una utilidad estándar de ZIP y utilizarlo en otro lugar.

¿Cómo se compara llamafile con LM Studio?

LM Studio es una aplicación de escritorio con interfaz gráfica (GUI) para la exploración y la inferencia de modelos; requiere instalación y gestiona una biblioteca de modelos, lo que la acerca más a Ollama que a llamafile. Por su parte, llamafile es un formato de implementación: no incluye interfaz gráfica ni biblioteca de modelos, sino simplemente un archivo que se ejecuta directamente. LM Studio resulta adecuado para usuarios que prefieren una interfaz visual, mientras que llamafile está pensado para implementaciones automatizadas, sin interfaz gráfica (headless) o portátiles. Guía completa de LM Studio para un análisis detallado.