Cos’è Ollama? La guida completa all’esecuzione locale di modelli linguistici di grandi dimensioni nel 2026

Se negli ultimi due anni hai avuto a che fare con l'intelligenza artificiale locale, sicuramente hai sentito parlare di questo strumento. Ollama ha trasformato l'espressione «eseguire un modello linguistico di grandi dimensioni sul proprio computer» da un weekend di errori CUDA a un singolo comando: ollama run llama3.3.

Questa guida spiega esattamente cos'è Ollama, come funziona internamente, quali operazioni è in grado di svolgere (e quali no) e se rappresenta la scelta più adatta per te nel 2026.

Quick answer: What is Ollama and how does it work?

Ollama is a free, open-source tool that downloads, manages, and runs open large language models locally on Mac, Windows, or Linux with a single command — no cloud, no API keys, and no data leaving your machine. Under the hood it wraps the llama.cpp engine (plus Apple’s MLX on Mac since v0.19) and handles model downloads, quantization, and GPU allocation, then exposes a REST API on port 11434 that is OpenAI-compatible at /v1. One command like ollama run llama3.3 pulls a model and gets you from install to a running model in about two minutes.

• Come funziona: wraps llama.cpp (and Apple MLX on Mac since v0.19) and serves models over a local REST API — http://localhost:11434, OpenAI-compatible at /v1.
• How to run a model: ollama run llama3.3 downloads and starts the model in around two minutes — other picks include gemma4 e qwen3.
• Hardware needed: the sweet spot is around 16 GB of VRAM or unified memory; budget roughly 0.6 GB of memory per billion parameters at Q4_K_M quantization.
• What it can run: over 100 open models, from ~5 GB 7B models up to ~43 GB 70B models.
• Cost and limits: $0 and MIT-licensed, fully private and offline — but not built for high-concurrency serving, where vLLM is roughly 16–20× faster under load.

Che cos’è realmente Ollama

Ollama è un runtime open source per modelli linguistici di grandi dimensioni che gira sul tuo computer — Mac, Windows o Linux. Puoi immaginarlo come il «Docker per i modelli linguistici»: invece di dover gestire ambienti Python, pesi dei modelli e driver GPU, basta digitare un comando per avviare un modello.

La proposta è semplice: mantenere i tuoi dati sul tuo dispositivo, non pagare nulla per ogni token generato e lavorare offline. Quando esegui ollama run gemma4, Ollama scarica il modello, lo carica nella memoria della tua GPU (o nella RAM di sistema, se non disponi di una GPU) e ti inserisce direttamente in una finestra di chat interattiva. È tutto qui.

Dietro questa apparente semplicità, Ollama svolge per te numerosi compiti complessi:

• Gestione dei modelli — recupera, versiona e archivia i modelli dal suo registro, esattamente come un gestore di pacchetti gestisce il software.
• Quantizzazione — utilizza automaticamente versioni compresse (GGUF) dei modelli, consentendo così a un modello da 27 miliardi di parametri di adattarsi alla memoria di un dispositivo consumer.
• Allocazione dei livelli della GPU — decide quanto del modello risiede sulla GPU rispetto alla CPU, in base alla VRAM disponibile.
• Gestione del contesto e della cache KV — gestisce la memoria che cresce man mano che la conversazione si allunga.
• Un'API REST — espone tutte le funzionalità su http://localhost:11434 in modo che le tue applicazioni possano interagire con essa.

Come funziona internamente

Ollama non è di per sé un motore di inferenza. È uno strato di esperienza utente costruito intorno a un motore. Sotto il cofano utilizza llama.cpp, il motore C++ che esegue effettivamente i calcoli necessari per far girare in modo efficiente un modello quantizzato su CPU e GPU. A partire dalla versione v0.19 (marzo 2026), Ollama utilizza inoltre il backend MLX di Apple su Apple Silicon — una modifica che ha prodotto notevoli miglioramenti delle prestazioni (su un M5 Max con Qwen 3.5, il throughput di decodifica è quasi raddoppiato).

Il flusso di lavoro è il seguente:

1. Esegui un comando — ollama run qwen3 dal terminale o invia una richiesta all'API.
2. Ollama risolve il modello — se non è già stato scaricato, recupera i pesi GGUF dal registro.
3. Carica il modello in memoria — suddividendo i livelli tra GPU e CPU in base alla VRAM disponibile.
4. Fornisce le risposte — interattivamente nel tuo terminale o come JSON tramite l'API REST.

Questa API REST è la parte che interessa maggiormente gli sviluppatori. Qualsiasi applicazione in grado di effettuare una richiesta HTTP può utilizzare un modello locale tramite Ollama — e poiché Ollama ha aggiunto un endpoint compatibile con OpenAI, gran parte del codice esistente funziona semplicemente modificando l'URL di base.

Cosa puoi creare con esso

Ollama è il motore alla base di un’enorme gamma di progetti di intelligenza artificiale locale nel 2026:

• Chatbot privati che non inviano mai una parola al cloud.
• Assistenti per la programmazione — il nuovo comando ollama launch collega strumenti come Claude Code, OpenCode, e Codex a un modello locale o cloud senza alcun file di configurazione.
• Sistemi RAG che utilizzano l'API di embedding batch di Ollama per indicizzare i tuoi documenti personali.
• Agenti e automazioni che chiamano modelli locali per classificazione, estrazione o sintesi a costo marginale nullo.
• Pipeline per output strutturati — Ollama può ora vincolare l'output di un modello a uno schema JSON, rendendolo affidabile per un utilizzo programmatico.

Dove si colloca Ollama rispetto alle alternative

Ollama non è l’unico modo per eseguire modelli in locale, né è sempre la scelta migliore. Ecco una panoramica onesta:

Se sei una persona sola che sta sperimentando, Ollama vince per comodità assoluta. Nel momento in cui avrai bisogno di servire molti utenti contemporaneamente, vorrai leggere la nostra analisi completa di Ollama vs LM Studio vs vLLM vs llama.cpp.

Iniziare in due minuti

La soglia d’ingresso è davvero minima:

1. Installa Ollama — scarica l'app per il tuo sistema operativo (vedi la nostra guida passo-passo all’installazione).
2. Scarica ed esegui un modello — ollama run gemma4 per un modello versatile e performante, oppure ollama run qwen3 per attività di programmazione.
3. Interagisci con esso — chatta nel terminale o punta la tua applicazione su http://localhost:11434.

Prima di scegliere un modello, verifica che il tuo sistema sia in grado di gestirlo — consulta la nostra guida ai Requisiti di sistema di Ollama Mappa le dimensioni dei modelli alla RAM e alla VRAM effettivamente necessarie.

Di quale hardware ho realmente bisogno?

Ollama avvierà l’esecuzione su quasi qualsiasi macchina dotata di CPU e 8 GB di RAM, ma «avvia» e «risulta utilizzabile» sono due concetti diversi. Il singolo parametro che determina la tua esperienza è la quantità di memoria necessaria per caricare interamente il modello, poiché l’intero modello deve risiedere nella RAM (o, idealmente, nella VRAM della GPU) durante l’esecuzione. Una regola empirica affidabile è approssimativamente 0,6 GB di memoria per ogni miliardo di parametri alla quantizzazione predefinita Q4_K_M, più un piccolo margine per il contesto.

Questo calcolo fornisce una guida rapida per dimensionare i modelli più comuni:

Per la maggior parte delle persone il compromesso pratico ideale è una GPU o un Mac dotato di circa 16 GB di VRAM o memoria unificata — sufficiente per eseguire modelli da 7B a 14B a velocità che sembrano istantanee. Una scheda RTX da 16 GB o un Mac Apple Silicon da 16 GB rientrano entrambi perfettamente in questa fascia.

Due considerazioni architetturali sono fondamentali nella scelta. Una GPU NVIDIA dedicata offre prestazioni nettamente superiori ogni volta che il modello entra interamente nella sua VRAM, garantendo il numero massimo di token al secondo. Al contrario, la tecnologia memoria unificata di Apple Silicon rappresenta un compromesso opposto: condivide tutta la RAM di sistema con la GPU, quindi un Mac da 64 GB o 128 GB può eseguire modelli da 32B a 70B che semplicemente non riuscirebbero a caricarsi su una scheda grafica consumer — pur con una minore velocità di elaborazione. Il punto di passaggio si colloca intorno al modello da 24 GB.

Puoi può eseguire Ollama senza alcuna GPU. Una CPU moderna multicore gestisce un modello da 7B a una velocità accettabile, con alcuni token al secondo o poco più; tuttavia, i modelli più grandi da 70B sulla CPU scendono sotto un token al secondo — accettabile per processi batch notturni, ma insostenibile per conversazioni interattive. Se la velocità interattiva è fondamentale, l’accelerazione tramite GPU o Apple Silicon è il fattore determinante.

Domande frequenti

Ollama è gratuito?

Sì. Ollama è open source con licenza MIT ed è completamente gratuito. L’unico «costo» è l’hardware su cui lo esegui e l’elettricità che consuma: non ci sono addebiti per token, poiché nulla viene inviato a un provider cloud.

Ollama invia i miei dati da qualche parte?

No. Per progettazione, l’inferenza avviene interamente sul tuo dispositivo. L’unico traffico di rete è il download del modello la prima volta che lo scarichi. Questo è il principale motivo per cui team operanti in ambito sanitario, legale e finanziario lo utilizzano: i prompt sensibili non lasciano mai l’edificio.

Ho bisogno di una GPU per eseguire Ollama?

No, ma è molto utile. Ollama funziona esclusivamente sulla CPU per modelli più piccoli (un modello da 2–3 miliardi di parametri gira agevolmente su un laptop moderno) e utilizza automaticamente la GPU quando disponibile. Per modelli con oltre circa 13 miliardi di parametri, una GPU o un chip Apple Silicon con memoria unificata fa una grande differenza. Consulta la nostra guida ai requisiti di sistema per i dettagli specifici.

Quali modelli può eseguire Ollama?

Più di 100 modelli open source, tra cui Llama 3.3 e Llama 4 di Meta, Gemma 4 di Google, la serie Qwen 3 di Alibaba, DeepSeek V3 e R1, Mistral e Phi-4 di Microsoft. La nostra selezione dei migliori modelli linguistici di grandi dimensioni locali da eseguire su Ollama spiega quale modello scegliere per ogni tipo di compito.

Ollama è migliore di ChatGPT?

Strumenti diversi. ChatGPT ti offre un modello all’avanguardia senza configurazione preliminare, ma invia i tuoi dati al cloud e richiede un abbonamento. Ollama esegue invece modelli open source più piccoli in locale, gratuitamente e in modo privato; tuttavia, anche il miglior modello locale attualmente disponibile rimane indietro rispetto ai migliori modelli cloud per i compiti più complessi. Per privacy, costo e utilizzo offline, Ollama vince; per capacità assolute su ragionamenti complessi, i modelli cloud all’avanguardia restano ancora superiori.

Qual è la porta dell’API Ollama?

Ollama espone la propria API REST su http://localhost:11434 per impostazione predefinita. Offre inoltre un endpoint compatibile con OpenAI, quindi gran parte del codice esistente basato sugli SDK OpenAI funziona semplicemente puntando l’URL base all’istanza locale di Ollama.

Ollama può sostituire l’API OpenAI nella mia applicazione esistente?

Per la maggior parte delle applicazioni, sì. Ollama espone un endpoint compatibile con OpenAI all’indirizzo http://localhost:11434/v1, incluso il percorso /v1/chat/completions chiamato dalla maggior parte degli strumenti. Imposta il campo base_url del client OpenAI sul tuo endpoint, inserisci una chiave API fittizia e imposta il campo modello su un tag Ollama installato. Sono supportati anche embedding, visione e chiamate a strumenti (tool-calling), quindi molti progetti effettuano la migrazione modificando soltanto due righe di codice. Ollama copre parti dell’API OpenAI, non tutti i parametri: verifica pertanto eventuali campi particolari su cui la tua applicazione fa affidamento.

Posso eseguire Ollama senza GPU?

Sì. Ollama funziona interamente sulla CPU quando non è presente una GPU compatibile — è sufficiente disporre di RAM di sistema adeguata per contenere il modello. Una CPU multicore moderna esegue un modello da 7B a velocità utilizzabili, ma le prestazioni diminuiscono rapidamente all’aumentare delle dimensioni del modello, e i modelli da 70B sulla CPU sono troppo lenti per un utilizzo interattivo. Per conversazioni quotidiane, una GPU o un Mac Apple Silicon fa la differenza tra un’esperienza lenta e una reattiva.

Quanto spazio su disco occupano i modelli Ollama e dove vengono memorizzati?

Pianifica le dimensioni dei download indicate sopra: un modello da 7 miliardi di parametri occupa circa 5 GB su disco, un modello da 70 miliardi di parametri circa 43 GB e il download di diversi modelli fa rapidamente lievitare lo spazio occupato. Per impostazione predefinita, questi file vengono salvati nella cartella ~/.ollama/models (o C:\Users\<tuonome>\.ollama\models su Windows). È possibile spostare tale cartella utilizzando la variabile d'ambiente OLLAMA_MODELS e rimuovere qualsiasi contenuto non più necessario con il comando ollama rm <modello>.

Conclusione

Nel 2026 Ollama ha conquistato lo spazio degli LLM locali facendo una cosa estremamente bene: eliminare gli ostacoli. È gratuito, privato, funziona sull’hardware che possiedi già ed è in grado di portarti da «voglio provare un modello locale» a un modello operativo in circa due minuti. Non è l’opzione più veloce sotto carico intenso, e un modello locale non batterà mai i migliori modelli cloud sui problemi più difficili — ma come punto di ingresso all’intelligenza artificiale locale, nessun altro strumento si avvicina minimamente. Se stai iniziando, comincia da qui.