- Ollama lets you run AI models like Llama, Mistral, and Gemma locally via a single command-line tool
- Installation en quelques secondes :
curl https://ollama.com/install.sh | sh(Linux/macOS) ou téléchargez l’installeur Windows - Les modèles grand public nécessitent 4 à 8 Go de VRAM ; les modèles professionnels de 70B nécessitent environ 40 Go de VRAM en quantification 4 bits
- Seuil de rentabilité par rapport aux API cloud : environ 500 000 jetons/mois pour un modèle de 70B, moins pour des modèles plus petits
Ollama est un outil en ligne de commande qui empaquette des modèles de langage IA sous forme de conteneurs exécutables sur votre propre matériel. Plutôt que d’envoyer vos prompts à OpenAI, Anthropic ou Google et de payer à l’usage, vous téléchargez un modèle une seule fois —Llama 3.3 70B, Mistral 7B, Phi-4, ou n’importe lequel des dizaines de modèles pris en charge— et l’inférence s’exécute entièrement sur votre GPU ou CPU. Vous conservez vos données en local, vous ne payez rien par requête après le coût initial du matériel, et vous gardez un contrôle total sur le comportement du modèle ainsi que sa disponibilité.
L’inconvénient réside dans les ressources matérielles : vous devez disposer de suffisamment de VRAM pour héberger le modèle. Un modèle de 7 milliards de paramètres (7B) quantifié en 4 bits nécessite environ 4 à 5 Go de mémoire GPU, ce qui convient à une carte grand public comme la RTX 4060. Un modèle de 70B nécessite environ 40 Go en quantification 4 bits, ce qui exige une carte haut de gamme comme la RTX 6000 Ada ou une configuration multi-GPU. Le calculatrice VRAM indique les exigences précises pour toute taille de modèle et tout niveau de quantification.
Installation d’Ollama
Linux
Exécutez le script d’installation officiel, qui détecte automatiquement votre distribution et configure le service ollama :
curl -fsSL https://ollama.com/install.sh | sh
Cette commande installe le binaire dans /usr/local/bin/ollama et enregistre un service systemd. Ce service démarre automatiquement et persiste après chaque redémarrage. Pour vérifier son bon fonctionnement :
ollama --version
Si vous êtes derrière un proxy d’entreprise ou si vous préférez une installation manuelle, téléchargez directement le binaire depuis les versions publiées sur GitHub et placez-le dans votre dossier PATH.
macOS
Téléchargez l’ .dmg installeur depuis ollama.com/download, ouvrez-le, puis faites glisser Ollama vers le dossier Applications. L’application de la barre de menus démarre automatiquement le serveur local sur localhost:11434. Pour utiliser Ollama depuis le Terminal :
ollama --version
macOS users on Apple Silicon (M1/M2/M3/M4) can run models using unified memory instead of discrete VRAM. A Mac Studio with 192 GB unified memory can serve a Llama 4 Maverick (240 GB at 4-bit) by swapping to disk, though inference speed drops significantly when exceeding physical RAM.
Windows
Téléchargez l’ OllamaSetup.exe installeur depuis ollama.com/download et exécutez-le. L’installeur ajoute ollama.exe à votre variable PATH et démarre le service en arrière-plan. Ouvrez PowerShell ou l’invite de commandes, puis vérifiez le bon fonctionnement avec :
ollama --version
Le Windows Subsystem for Linux (WSL2) avec passage direct du GPU est pris en charge : installez Ollama dans votre distribution WSL2 en suivant les instructions Linux, et assurez-vous d’avoir installé les pilotes NVIDIA CUDA sur l’hôte Windows.
Exécution de votre premier modèle
Téléchargez et exécutez Llama 3.1 8B, un modèle performant capable de suivre des instructions et nécessitant seulement 5 Go de VRAM :
ollama run llama3.1:8b
Ollama télécharge le modèle (environ 4,7 Go) vers ~/.ollama/models (Linux/macOS) ou %USERPROFILE%.ollamamodels (Windows), le charge en mémoire, puis vous place dans une invite interactive. Saisissez un message, appuyez sur Entrée, et le modèle génère une réponse localement. Appuyez sur Ctrl+D ou tapez /bye pour quitter.
Pour exécuter un modèle en arrière-plan et l’interroger via l’API :
ollama serve
Cela démarre un serveur sur http://localhost:11434. Dans un autre terminal :
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Expliquez le contrôle de congestion TCP",
"stream": false
}'
La réponse est renvoyée au format JSON, avec la complétion complète dans le champ response .
Sélection du modèle et exigences en VRAM
Ollama prend en charge les modèles open-weight de Meta, Mistral AI, Microsoft, Google, Alibaba et d’autres éditeurs. Le tableau ci-dessous présente des choix populaires ainsi que leur empreinte mémoire en quantification 4 bits, tirée de la base de données des exigences en VRAM:
| Modèle | Paramètres | Longueur de contexte | VRAM en 4 bits | Cas d’usage |
|---|---|---|---|---|
| Llama 3.1 8B | 8B | 128 K | ~5 GB | Suivi général des instructions, adapté aux GPU grand public |
| Mistral 7B | 7B | 32 K | ~4,5 Go | Inférence rapide, bonne génération de code |
| Phi-4 | 14B | 16 K | ~9 Go | Raisonnement et calculs mathématiques, efficace pour sa taille |
| Mistral NeMo 12B | 12B | 128 K | ~7,5 Go | Tâches à long contexte, multilingue |
| Qwen3 8B | 8B | 128 K | ~5 GB | Fortement multilingue, compétitif face à des modèles plus volumineux |
| Gemma 3 4B | 4 milliards | 128 K | ~3 Go | Modèle le plus petit viable, fonctionne sur des GPU intégrés |
| Llama 3.3 70B | 70B | 128 K | ~40 Go | Raisonnement de niveau production, équivalent à la classe GPT-4 |
| DeepSeek R1 Distill Llama 70B | 70B | 128 K | ~40 Go | Modèle de raisonnement distillé, performances solides en STEM |
Pour lister tous les modèles disponibles sur votre système :
ollama list
Pour supprimer un modèle et libérer de l’espace disque :
ollama rm llama3.1:8b
Les étiquettes des modèles suivent le format nom:taille ou nom:version. Si l’étiquette est omise, elle prend par défaut la valeur :latest. Consultez le catalogue complet à l’adresse les meilleurs LLM locaux pour Ollama.
Commandes courantes et configuration
Exécutez un modèle avec des paramètres personnalisés :
ollama run llama3.1:8b --temperature 0.7 --top-p 0.9
Transmettez directement une instruction sans entrer en mode interactif :
ollama run llama3.1:8b "Écrivez une fonction Python pour analyser les dates au format ISO 8601"
Chargez un modèle en mémoire sans afficher d’invite (utile pour le préchauffage avant de traiter des requêtes) :
ollama pull llama3.1:8b
Vérifiez quels modèles sont actuellement chargés dans la VRAM :
ollama ps
Définissez le nombre de couches GPU à décharger (utile pour un déchargement partiel sur GPU lorsque la VRAM est limitée) :
OLLAMA_NUM_GPU=35 ollama run llama3.3:70b
Par défaut, Ollama décharge toutes les couches sur le GPU. Réduire la valeur de OLLAMA_NUM_GPU conserve certaines couches sur le CPU, au prix d’une baisse de performance en échange d’une consommation moindre de VRAM. Un modèle de 70 milliards de paramètres avec 20 couches sur GPU pourrait nécessiter seulement 20 Go de VRAM, mais s’exécuterait 3 à 5 fois plus lentement.
Pour modifier le répertoire de stockage des modèles, définissez la variable OLLAMA_MODELS avant de lancer la commande :
export OLLAMA_MODELS=/mnt/nvme/ollama_models ollama pull llama3.1:8b
Ollama utilise des fichiers mappés en mémoire, ce qui permet aux modèles de se charger plus rapidement depuis un disque NVMe que depuis un SSD SATA. Comptez environ 10 à 15 secondes pour charger un modèle de 8 milliards de paramètres sur un système moderne, et 60 à 90 secondes pour un modèle de 70 milliards.
Configuration requise
Le facteur limitant est la VRAM, pas la puissance de calcul. Un modèle de 70 milliards de paramètres quantifié en 4 bits nécessite 40 Go de mémoire GPU, mais fonctionne correctement sur des architectures précédentes. Une RTX 3090 (24 Go) peut servir deux modèles de 8 milliards ou un modèle de 30 milliards. Une RTX 4090 (24 Go) gère la même charge avec un débit 30 à 40 % supérieur grâce aux cœurs tensoriels améliorés d’Ada Lovelace.
GPU recommandés par budget :
- Entrée de gamme (300–500 $ USD) : RTX 4060 Ti 16 GB gère les modèles 8B et 12B
- Prosumer (1000–1500 $ USD) : RTX 4090 ou A4000 Ada exécute confortablement les modèles 30B
- Poste de travail (4000–7000 $ USD) : RTX 6000 Ada (48 GB) ou deux RTX 4090 pour les modèles 70B
- Desserving multi-modèles (10 k $ USD+) : A100 80GB ou H100 80GB pour exécuter plusieurs instances 70B
Consultez le Guide d'achat de GPU pour des comparaisons détaillées. Les utilisateurs Apple Silicon bénéficient de la mémoire unifiée : un M2 Ultra avec 192 GB peut exécuter des modèles qui nécessiteraient une configuration NVIDIA à 25 k $ USD, bien que le débit de jetons soit 2 à 3 fois inférieur à celui d'un A100.
Comparaison des coûts : inférence locale contre API
Les API Cloud facturent par jeton. Claude Sonnet 5 coûte 2,00 $ USD par million de jetons d'entrée et 10,00 $ USD par million de jetons de sortie. Une session d'assistant de codage typique génère 500k jetons par mois (250k à l'entrée, 250k à la sortie), coûtant 3 000 $ USD annuellement.
Un modèle Llama 3.3 70B auto-hébergé sur un poste de travail de 6 000 $ USD (RTX 6000 Ada) a un coût marginal nul après le matériel. Le seuil de rentabilité est d'environ 500k jetons par mois. En dessous, les API sont moins chères ; au-dessus, l'inférence locale l'emporte. Utilisez le calculatrice d’auto-hébergement pour modéliser précisément votre charge de travail.
Les modèles plus petits se rentabilisent plus rapidement. Un modèle 8B sur un RTX 4060 Ti de 500 $ USD se rembourse en 3 à 4 mois par rapport aux API Cloud à usage modéré (100k jetons/mois). L'avantage est la confidentialité : votre code, documents et données internes ne quittent jamais votre réseau.
Questions fréquemment posées
Ollama peut-il exécuter des modèles sur CPU uniquement ?
Oui, mais l'inférence est 10 à 50 fois plus lente selon la taille du modèle. Un modèle 8B génère 1 à 3 jetons par seconde sur un CPU Ryzen ou Intel moderne, contre 40 à 80 jetons/s sur un RTX 4090. Définissez OLLAMA_NUM_GPU=0 pour forcer le mode CPU uniquement. Pratique pour le traitement par lot ou l'utilisation à faible trafic, inutilisable pour le chat interactif.
Comment la quantification affecte-t-elle la qualité ?
La quantification 4-bit réduit la taille du modèle de 75 % avec une perte de qualité minimale—les benchmarks montrent une dégradation de précision de 1 à 3 % sur MMLU et HumanEval comparé à FP16. La quantification 3-bit (Q3) réduit davantage la taille mais dégrade notablement le raisonnement et le suivi d'instructions. Ollama utilise par défaut Q4_0, qui équilibre qualité et VRAM. Vous pouvez extraire des versions 8-bit ou FP16 en spécifiant des tags comme llama3.1:8b-q8_0, doublant les exigences en VRAM.
Puis-je affiner des modèles avec Ollama ?
Non. Ollama est un runtime d'inférence, pas un framework d'entraînement. Pour affiner un modèle, utilisez des outils comme Hugging Face Transformers, Axolotl ou LLaMA Factory, exportez le résultat au format GGUF et importez-le dans Ollama via un Modelfile. Le processus est documenté dans le dépôt GitHub d'Ollama sous docs/import.md.
Quelle est l’API Ollama et comment l’utiliser ?
Ollama expose une API REST compatible OpenAI sur localhost:11434. Le bloc /api/generate Le point de terminaison traite les complétions, et /api/chat prend en charge les conversations multi-tours avec l'historique des messages. Vous pouvez l'intégrer dans les bases de code existantes en commutant l'URL de base : au lieu de https://api.openai.com/v1, pointez votre client vers http://localhost:11434. De nombreux frameworks comme LangChain et LlamaIndex ont un support natif d'Ollama.
Combien de requêtes par seconde Ollama peut-il traiter ?
Un modèle chargé traite une seule requête à la fois. Le débit dépend de la taille du modèle et des ressources matérielles : une carte RTX 4090 génère 60 à 80 jetons/seconde pour un modèle de 8 milliards de paramètres (8B), et 15 à 25 jetons/seconde pour un modèle de 70 milliards de paramètres (70B). Pour gérer plusieurs utilisateurs simultanément, vous pouvez soit effectuer une montée en puissance horizontale (plusieurs machines), soit implémenter le regroupement (batching) au niveau de l’application. Ollama ne dispose pas de file d’attente intégrée pour les requêtes ; vous devez donc utiliser un proxy inverse tel que NGINX ou un équilibreur de charge.
Puis-je exécuter plusieurs modèles simultanément ?
Oui, si vous disposez de suffisamment de VRAM. Chargez un second modèle avec ollama run dans un nouveau terminal pendant que le premier s'exécute. Ollama partage le GPU entre les modèles. Deux modèles 8B (10 GB au total) s'exécutent confortablement sur un RTX 4090 24 GB. Basculer entre les modèles est quasi instantané si les deux sont déjà chargés ; sinon, attendez-vous à des temps de chargement de 10 à 90 secondes selon la taille du modèle.