Jan AI: aplicación de escritorio de código abierto para ejecutar LLMs localmente

Jan es una aplicación de escritorio de código abierto para ejecutar modelos de lenguaje de gran tamaño localmente, desarrollada por Homebrew Research (janhq). Integra una interfaz de chat, un centro de modelos y un motor de inferencia en una única aplicación instalable. Todo se ejecuta sin conexión: no se requiere cuenta alguna, ningún dato se envía a servidores externos y, una vez descargados los modelos, no se necesita conexión a Internet en absoluto. El código fuente está disponible en github.com/janhq/jan bajo la licencia AGPL-3.0.

Requisitos de hardware

Jan puede ejecutarse únicamente en CPU, pero una GPU mejora significativamente la velocidad de respuesta. El recurso limitante es la VRAM: la cantidad de memoria de GPU disponible determina qué modelos pueden cargarse a velocidades utilizables.

Un modelo de 7 mil millones de parámetros cuantizado a 4 bits (Q4_K_M) requiere aproximadamente 4–5 GB de VRAM; un modelo de 13B necesita alrededor de 8–9 GB. Utilice la calculadora de VRAM de Convly para estimar los requisitos de memoria de su modelo específico y su nivel de cuantización antes de descargarlo. Si está eligiendo hardware, la mejor Tarjetas gráficas para LLM locales guía guía comparativa actualizada

En Mac con Apple Silicon, Jan activa automáticamente la aceleración Metal. En Windows y Linux con tarjetas NVIDIA, utiliza CUDA. El soporte para GPU AMD está disponible mediante Vulkan en Linux.

Instalación de Jan

Descargue el instalador desde jan.ai o el página de versiones de GitHub. Jan incluye integrado su propio motor de inferencia llama.cpp; no se requieren dependencias adicionales.

Windows

Ejecute el .exe instalador. Jan se instala de forma predeterminada en %LOCALAPPDATA%\Programs\Jan . No se requieren privilegios de administrador.

macOS

Descargue el .dmg. Existen versiones independientes para Apple Silicon e Intel: seleccione la que corresponda a su Mac. Arrastre Jan a la carpeta /Applications. Al iniciarla por primera vez, haga clic derecho sobre el icono y seleccione Abrir Abrir

Linux

Jan proporciona un .AppImage, un paquete .deby un paquete .rpm en la página de lanzamientos.

# AppImage
chmod +x jan-linux-x86_64-*.AppImage
./jan-linux-x86_64-*.AppImage

# Debian/Ubuntu
sudo dpkg -i jan-linux-amd64-*.deb

Descarga de su primer modelo

Al abrir Jan, la pestaña Centro muestra un catálogo seleccionado de modelos GGUF procedentes de Hugging Face: Llama, Mistral, Qwen, Gemma, Phi y otros, disponibles en múltiples niveles de cuantización.

1. Haga clic Centro en la barra lateral izquierda.
2. Busque un modelo — «Llama 3.2» es un buen punto de partida para la mayoría de los equipos.
3. Seleccione un nivel de cuantización. Q4_K_M es la opción recomendada por defecto: más pequeño que Q6/Q8 con una pérdida de calidad aceptable.
4. Haga clic Descargar y espere a que finalice la transferencia del archivo.

Jan almacena los modelos descargados en ~/jan/models/ en macOS y Linux, y en C:\Users\\jan\models en Windows. Cada modelo se guarda en una subcarpeta independiente con nombre, que contiene el archivo .gguf binario model.json y un archivo de metadatos. También puede agregar manualmente cualquier modelo de terceros .gguf un archivo en una nueva carpeta allí; Jan lo detecta en el siguiente inicio. Los archivos GGUF de LM Studio son directamente compatibles.

Servidor API local

Jan incluye un servidor API REST compatible con OpenAI, lo que permite que cualquier herramienta que soporte la biblioteca cliente de OpenAI —el SDK de Python, openai LangChain, Continue.dev y otras— utilice Jan como backend local.

Para iniciarlo: abra Ajustes → Servidor API local, active el servidor. Escucha, por defecto, en el puerto 1337 ; este valor se puede configurar en ese mismo panel.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1337/v1",
    api_key="jan"  # cualquier cadena no vacía
)

response = client.chat.completions.create(
    model="llama3.2-3b-instruct",  # coincide con el nombre de la carpeta bajo ~\/jan\/models\/ 
    messages=[{"role": "user", "content": "Hola"}]
)
print(response.choices[0].message.content)

El nombre del modelo en las llamadas a la API debe coincidir con el nombre de la carpeta que Jan utiliza internamente —visible en el Hub o en el menú desplegable de modelos en la vista de chat.

Jan frente a LM Studio frente a Ollama

Las tres herramientas ejecutan modelos GGUF localmente. Las diferencias radican en su filosofía y flujo de trabajo.

Elija Jan si desea una herramienta con interfaz gráfica completamente de código abierto y le importa la garantía de la licencia AGPL de que nadie está construyendo un producto cerrado sobre el código que usted utiliza. La interfaz de chat de Jan es limpia y su sistema de extensiones le permite añadir funcionalidades sin modificar archivos de configuración.

Elija LM Studio si la pulcritud es más importante que la licencia de código abierto. LM Studio ofrece una interfaz de usuario más refinada y documentación ligeramente más amplia sobre compatibilidad con hardware. Consulte la Guía completa de LM Studio para una guía detallada.

Elija Ollama si es desarrollador y desea un backend rápido y scriptable sin sobrecarga de interfaz gráfica. Ollama resulta más sencillo de integrar en pipelines de CI, scripts de shell o contenedores Docker. La Guía completa de Ollama explica detalladamente ese enfoque.

Si está comparando los costos operativos de la inferencia local frente al uso de una API en la nube, la Calculadora de punto de equilibrio entre autohospedaje y API ayuda a cuantificar el compromiso basado en su volumen real de uso y los costos de su hardware.

Privacidad y uso sin conexión

La garantía central de privacidad de Jan es arquitectónica: la inferencia se realiza dentro de llama.cpp, en su máquina local. No se envía ninguna telemetría durante la inferencia, ninguna consulta al modelo se registra en un servidor remoto ni se requiere cuenta alguna. Una vez descargado un archivo de modelo, puede ejecutar Jan indefinidamente sin conexión a Internet.

Esto hace que Jan sea adecuado para trabajar con documentos que no pueden salir de su equipo —textos legales, médicos o comercialmente sensibles—, algo que ninguna herramienta basada en API en la nube puede igualar, independientemente de sus políticas de privacidad.

Jan sí verifica actualizaciones de la aplicación y recupera la lista de modelos del Hub desde Internet cuando hay conexión disponible. Ambas funciones se pueden desactivar: vaya a Ajustes → Avanzado para desactivar las comprobaciones de actualización, y el Hub simplemente no mostrará nuevos modelos cuando esté desconectado, sin afectar al resto de la aplicación.

Preguntas frecuentes

¿Es Jan AI completamente gratuito?

Sí. Jan es gratuito para descargar y usar, sin suscripción, sin límites de uso ni funciones restringidas por pago. Su código fuente se publica bajo licencia AGPL-3.0 en GitHub. El único costo es el de su propio hardware y la electricidad.

¿Qué modelos puede ejecutar Jan?

Jan ejecuta cualquier modelo en formato GGUF. Esto incluye la mayoría de los modelos de código abierto más populares: la familia Llama, Mistral, Mixtral, Qwen, Gemma, Phi, DeepSeeky muchos otros. El Hub integrado muestra un subconjunto seleccionado; puede añadir manualmente cualquier archivo GGUF colocándolo en el directorio de modelos.

¿Cuánta VRAM necesito?

Depende del tamaño del modelo y de su cuantización. Un modelo de 7B en Q4_K_M necesita aproximadamente 4–5 GB de VRAM; un modelo de 13B requiere 8–9 GB. La inferencia exclusivamente en CPU funciona, pero es lenta: espere entre 2 y 5 tokens por segundo en una CPU moderna, frente a 30–80+ en una GPU de gama media. La Guía de requisitos de VRAM incluye cifras detalladas para los principales modelos.

¿Puedo usar Jan con VS Code u otras herramientas de programación?

Sí. Active el servidor API local de Jan y configure cualquier herramienta compatible con OpenAI para que apunte a http://localhost:1337/v1. Continue.dev, Aider y otros asistentes de programación admiten URLs base personalizadas. Establezca el nombre del modelo para que coincida con el nombre de la carpeta que Jan usa para su modelo descargado.

¿Cuál es la diferencia entre Jan y Ollama?

Jan es una aplicación de escritorio con interfaz gráfica: interactúa mediante una interfaz de chat y gestiona modelos a través de un Hub visual. Ollama es una herramienta de línea de comandos y un servicio en segundo plano diseñado para desarrolladores que desean invocar modelos desde scripts o integrarlos en aplicaciones. Ambos exponen una API compatible con OpenAI. Jan es ideal para usuarios no técnicos y flujos de trabajo centrados en la interfaz gráfica; Ollama, para automatización e implementaciones en servidores.

¿Soporta Jan modelos multimodales (imágenes)?

Jan ha añadido soporte experimental para modelos de visión en versiones recientes, dependiendo de la versión instalada. Consulte el Hub para encontrar modelos etiquetados como de visión o multimodales. El soporte y la disponibilidad de modelos varían según la versión, por lo que debe consultar las notas de la versión en GitHub correspondientes a su instalación, en lugar de asumir que un modelo concreto funcionará.