Requisiti di VRAM per ogni principale modello linguistico di grandi dimensioni nel 2026 (scheda riassuntiva sulla quantizzazione)

La domanda più frequente che riceviamo dai neofiti dei modelli linguistici locali nel 2026 non è «Quale modello devo usare?», ma «Questo modello funzionerà sulla mia GPU?»

Questa guida è la risposta. Abbiamo testato ogni principale modello linguistico open source, a ogni comune livello di quantizzazione, su hardware che va da una RTX 3060 da 12 GB a un H100 da 80 GB; quanto segue è la scheda riassuntiva che avremmo voluto avere quando abbiamo iniziato.

Un promemoria per gli impazienti: La VRAM è il vincolo determinante. Se il modello più la cache KV più il contesto non rientrano nella VRAM disponibile, le prestazioni di inferenza precipitano drasticamente. Tutto quanto segue presuppone che si desideri un’inferenza puramente su GPU; se invece si accetta l’offload sulla CPU, dividere le prestazioni di throughput per un fattore compreso tra 5 e 10.

Tabella di riferimento rapido

Ogni principale LLM open-source del 2026 e i relativi requisiti di VRAM ai comuni livelli di quantizzazione. I valori si riferiscono esclusivamente ai pesi del modello, con contesto da 8 K. Aggiungere 1–2 GB per la cache KV come margine aggiuntivo ogni 8 K di contesto effettivamente utilizzato.

Una nota pratica: per un utilizzo quotidiano, Q4_K_M rappresenta il compromesso consigliato tra dimensione e qualità. La perdita di qualità rispetto all'FP16 è modesta (incremento tipico della perplessità < 2%) e i risparmi di memoria sono notevoli (~3,3× più piccolo). Q5_K_M offre una qualità marginalmente migliore con un aumento di circa il 17% della memoria occupata. Q3 e IQ2 vanno utilizzati solo in casi di emergenza — la qualità degrada in modo evidente.

Memoria della cache KV — quella che tutti dimenticano

I valori indicati sopra si riferiscono esclusivamente ai pesi del modello. La cache KV — la memoria attiva necessaria per memorizzare tutti i token della conversazione in corso — risiede anch’essa nella VRAM e cresce linearmente con la lunghezza del contesto.

Dimensione approssimativa della cache KV per ogni 1K token di contesto, in FP16:

La quantizzazione della cache KV (un'opzione disponibile in llama.cpp e vLLM nel 2026) riduce questo valore di circa 2–4 volte, con un lieve impatto sulla qualità. La maggior parte delle configurazioni produttive utilizza attualmente la cache KV in Q8: il costo qualitativo è quasi nullo e si ottiene un notevole risparmio di VRAM per contesti lunghi.

Se prevedi di utilizzare un contesto di 32 K o superiore, includi la cache KV nei tuoi calcoli di VRAM prima di scegliere la GPU.

Matrice di compatibilità GPU

Quali modelli trovano spazio comodamente su ciascuna GPU comune, ai quantizzatori raccomandati e con contesto da 8 K? Per «comodamente» si intende modello + cache KV + 1 GB di margine di sistema.

I pattern da memorizzare:

1. 12 GB rappresenta la soglia minima di ingresso. Sotto questo limite, sei costretto a modelli molto piccoli che non giustificano l’uso di una GPU dedicata.
2. 24 GB rappresenta il punto di svolta. È il livello più economico in cui diventa possibile eseguire Llama 3 da 70B (con quantizzazioni compromesse).
3. 32 GB consentono di eseguire correttamente il modello da 70B. Questo è l’unico vero motivo per scegliere la RTX 5090 rispetto alla 4090.
4. 48 GB rappresentano un margine confortevole. La maggior parte delle attività che desideri svolgere vi si adatta perfettamente.
5. 128 GB di memoria unificata costituiscono il tetto per i consumatori. Oltre questa soglia, stai acquistando hardware server.

Come scegliere la quantizzazione adatta al tuo hardware

La quantizzazione ottimale non è sempre «la più grande che entra nella tua VRAM». La qualità conta, e talvolta un modello più piccolo con una quantizzazione migliore supera un modello più grande con una quantizzazione peggiore.

Classifica approssimativa della qualità (basata sulla perplexity, valori più bassi sono migliori):

• FP16 / BF16 — originale. Riferimento di qualità di base.
• Q8_0 — aumento di circa lo 0,3% della perplexity. Praticamente indistinguibile.
• Q6_K — aumento di circa lo 0,5%. Indistinguibile nella pratica.
• Q5_K_M — aumento di circa l’1,0%. Leggero calo di qualità, ma comunque qualità molto elevata.
• Q4_K_M — aumento del 1,5–2,5%. Raccomandata per la maggior parte degli utenti.
• Q4_K_S — aumento di circa il 3%. Risultato sensibilmente peggiore rispetto a Q4_K_M per dimensioni simili.
• Q3_K_M — aumento del 5–8%. Output visibilmente compromesso.
• Q3_K_S — aumento di circa il 10%. Da usare solo se Q4 non entra nella VRAM disponibile.
• IQ2_XXS — aumento del 15–25%. Ultima risorsa.

Regola generale: preferisci un modello con meno parametri in Q5_K_M rispetto a un modello più grande in Q3_K_S per compiti quotidiani. Un Qwen da 32B in Q5 supera generalmente un Llama 3 da 70B in IQ2_XXS su benchmark reali, nonostante quest’ultimo sembri più impressionante sulla carta.

Eccezione: attività di programmazione e ragionamento dove il vantaggio intrinseco in termini di conoscenza del modello più grande spesso resiste anche a una quantizzazione aggressiva. Per la generazione di codice in particolare, persino una versione Q3_K_S di un modello da 70B può superare un modello da 30B in Q5_K_M.

Modelli MoE — la nota a piè di pagina

I modelli Mixture-of-Experts (MoE), come Mixtral 8x22B e DeepSeek V3 presentano un’asimmetria che confonde i principianti:

• VRAM necessaria = numero totale di parametri (poiché devi caricare tutti gli esperti)
• Calcolo richiesto = numero di parametri attivi per token (molto inferiore)

Mixtral 8x22B ha 141 miliardi di parametri totali / 39 miliardi attivi. Richiede oltre 80 GB di VRAM per essere eseguito, ma la velocità per token è simile a quella di un modello denso da 40 miliardi.

DeepSeek V3 ha un totale di 236 miliardi di parametri, di cui 21 miliardi attivi. Richiede oltre 150 GB di VRAM, ma la velocità di generazione dei token si avvicina a quella di un modello denso da 20 miliardi di parametri. Questo è il motivo per cui DeepSeek V3 è definita «veloce per le sue dimensioni»: paghi il costo in termini di VRAM, ma ottieni uno sconto sul carico computazionale.

Se il tuo hardware riesce a ospitare un modello MoE, è spesso la scelta migliore. Se non ci riesce, allora il modello denso della stessa classe di parametri è ciò che ti serve.

Configurazioni pronte all’uso per diverse fasce di budget

Per chi cerca una risposta concreta, ecco configurazioni testate in cinque fasce di budget nel 2026:

La «fascia di miglior rapporto qualità-prezzo» nel 2026 rimane ancora l’RTX 3090 o 4090 usata: sono le uniche GPU consumer per cui il rapporto prezzo/VRAM è favorevole, e entrambe rimarranno performanti almeno fino al 2028.

Per un’analisi approfondita sulla scelta della GPU più adatta, consulta migliore GPUs for local LLMs nel 2026.

Domande frequenti

Quanta VRAM mi serve per eseguire Llama 3 da 70B in locale nel 2026?

Minimo 24 GB per Llama 3 da 70B in Q3_K_S (qualità scadente). Con 32 GB puoi eseguire comodamente Q4_K_M (la quantizzazione raccomandata). Servono 40+ GB per Q5_K_M. Con 24 GB e contesto da 8K hai praticamente zero margine; portare il contesto a 32K richiede l’offload sulla CPU o una quantizzazione più aggressiva.

Qual è la differenza tra Q4_K_M e Q4_K_S?

Entrambe sono quantizzazioni a 4 bit dello stesso modello. Q4_K_M («medium») utilizza 5 bit per alcuni gruppi critici di pesi, rendendola leggermente più grande ma di qualità sensibilmente migliore rispetto a Q4_K_S («small»). A parità quasi identica di utilizzo di VRAM, Q4_K_M è preferibile. Q4_K_S ha senso solo quando stai cercando di far entrare un modello in un budget di VRAM estremamente ristretto.

Posso eseguire un LLM più grande della mia VRAM?

Sì — utilizzando l’offload sulla CPUl'offload su CPU, in cui alcuni strati del modello vengono eseguiti sulla CPU utilizzando la RAM di sistema invece della VRAM della GPU. La penalità in termini di prestazioni è severa (5–10 volte più lento), ma consente di eseguire modelli che altrimenti non entrerebbero nella memoria disponibile. Pratico per un utilizzo occasionale, estremamente scomodo come strumento quotidiano. Sia llama.cpp che Ollama supportano questa funzionalità nativamente tramite l'impostazione n_gpu_layers .

Il cache KV ha davvero un impatto sulla pianificazione della VRAM?

Sì, soprattutto con contesti lunghi. Per Llama 3 da 70 miliardi di parametri a contesto da 32 K, il solo cache KV occupa circa 5 GB. Se sei già al limite della tua VRAM, andrai in out-of-memory (OOM) non appena una conversazione si allungherà. Pianifica lo spazio necessario per il cache KV e considera la quantizzazione Q8 per il cache KV (opzione disponibile nei moderni motori di inferenza), che ne riduce approssimativamente a metà l’occupazione.

Esiste un modo per eseguire Llama 3 da 405 miliardi di parametri a casa?

Sì, ma hai bisogno di oltre 200 GB di memoria a quantizzazioni utilizzabili. Le soluzioni realistiche per il 2026 sono: Mac Studio M4 Ultra con 512 GB ($12.000, lento per token ma funzionante), 8× RTX 4090 ($13.000, configurazione complessa), Nvidia DIGITS ($3.000, progettato appositamente per questo scopo) oppure una combinazione CPU + 256 GB di RAM DDR5 con GPU di fascia media per un offload parziale ($8.000, lento). Consulta la nostra guida passo-passo per eseguire Llama 3 da 405 miliardi di parametri a casa.

Esistono formati di quantizzazione per il 2026, oltre a GGUF, di cui dovrei essere a conoscenza?

Sì — AWQ (Activation-aware Weight Quantization) e GPTQ sono ancora ampiamente utilizzati, specialmente per i deployment basati su vLLM e TensorRT-LLM. In alcuni casi offrono una qualità leggermente superiore rispetto a GGUF allo stesso numero di bit. Per l’uso consumer locale di LLM con llama.cpp / Ollama / LM Studio, GGUF rimane il formato dominante nel 2026 grazie alla sua semplicità e al vasto supporto strumentale.

La quantizzazione Q4 influenzerà le capacità di scrittura del codice?

Meno di quanto si possa pensare, ma sì. Per il completamento diretto del codice, Q4_K_M è essenzialmente identico a FP16. Per ragionamenti complessi in più passaggi su un intero codebase, Q4 produce occasionalmente logiche meno accurate rispetto a Q5+. Se utilizzi modelli locali per attività di programmazione impegnative, preferisci Q5_K_M e scegli l’hardware in grado di supportarlo.

Conclusione

La pianificazione della VRAM per gli LLM locali nel 2026 non è complicata, ma premia la precisione. Scegli prima la classe di parametri (la dimensione del modello che offre le capacità di cui hai bisogno), quindi la quantizzazione più leggera che garantisca una qualità accettabile (Q4_K_M è generalmente la scelta giusta), aggiungi poi lo spazio richiesto dal cache KV in base alla lunghezza effettiva del contesto che prevedi di usare, e infine seleziona la GPU in base a tale stima.

Se dovessi ricordare solo tre numeri, questi sono:

• 12 GB gestisce agevolmente modelli da 8 miliardi di parametri.
• 24 GB gestisce modelli da 30 miliardi di parametri a quantizzazioni di qualità, mentre quelli da 70 miliardi risultano appena sufficienti.
• 32 GB gestisce modelli da 70 miliardi di parametri a quantizzazioni di qualità.

Oltre i 32 GB si entra nel territorio dei server, mentre sotto i 12 GB si entra nel campo dei dispositivi mobili o embedded. La maggior parte delle attività locali con LLM nel 2026 avviene nella fascia 12–32 GB, che corrisponde esattamente alla gamma delle GPU consumer — non per caso, ma per progettazione.