Ogni mese esce un modello che promette di battere tutti gli altri. Poi lo scarichi, e sul tuo PC va a tre parole al secondo.
Non esiste un singolo "migliore": tra i migliori LLM in locale c'è sempre e solo il modello più grande che entra nella tua memoria, nella famiglia giusta per il tuo compito. È una risposta meno soddisfacente di una classifica, ma è l'unica che regge alla prova dei fatti.
Un modello da 8B non batte un 32B perché ha un nome più recente. E un 120B non serve a nulla se il tuo PC non riesce a caricarlo.
La maggior parte delle guide sugli LLM in locale parte dall'hardware e arriva al modello. Qui facciamo il contrario: parti da cosa devi farci, scegli la famiglia, poi verifichi se la tua macchina regge.
È l'ordine corretto, perché comprare 128 GB di RAM per far girare una chat da 3B è lo spreco più comune che vedo.
Migliori LLM in locale: la tabella di scelta rapida
Parti da qui. La colonna della RAM è la soglia pratica per una quantizzazione a 4 bit, lasciando memoria libera al sistema operativo. Sono valori di partenza: salgono se allunghi la finestra di contesto.
| RAM disponibile | Taglia modello | Famiglie consigliate | Cosa ci fai davvero |
|---|---|---|---|
| 8 GB | 3B-4B | Llama, Gemma | Chat, riassunti, riscrittura, classificazione |
| 16 GB | 7B-14B | Qwen, Ministral, Gemma | Coding assistito, documenti, automazioni leggere |
| 32 GB | 20B-32B | Qwen, gpt-oss, GLM compatti | Ragionamento, refactoring, RAG su archivi interni |
| 64-128 GB | 70B o MoE grandi | Llama, GLM, Qwen MoE | Agenti, contesti lunghi, sostituzione parziale del cloud |
Regola pratica: a parità di RAM, un modello più grande e più quantizzato batte quasi sempre un modello piccolo a piena precisione. Un 14B a 4 bit rende meglio di un 7B a 8 bit, anche se occupano lo stesso spazio.
I tre criteri che decidono la scelta
Chi cerca i migliori LLM in locale di solito guarda solo la classifica dei benchmark. Sono questi tre criteri, invece, a determinare il risultato reale sulla tua macchina.
1. La memoria, e soprattutto la banda
La capacità stabilisce se il modello si carica. La banda di memoria stabilisce quanto va veloce.
Nella fase di generazione il collo di bottiglia non è la potenza di calcolo: è la velocità con cui i pesi vengono letti dalla memoria, token dopo token.
Questo spiega perché una macchina con 128 GB di RAM DDR5 lenta può caricare un modello enorme e restituirti tre parole al secondo, mentre una GPU con 24 GB lo fa volare finché ci sta dentro. Ho messo la formula per il calcolo esatto e la tabella per Q4, Q5 e Q8 nella guida su quanta RAM serve per un LLM in locale.
2. Il tipo di compito
Le famiglie non sono intercambiabili. Alcune sono addestrate soprattutto su codice e uso agentico, altre su conversazione e testo generico, altre ancora sono pensate per girare su dispositivi piccoli.
Scegliere la famiglia sbagliata costa più qualità della differenza tra un 8B e un 14B.
3. La lingua italiana
È il criterio che quasi nessuno cita e che in Italia pesa parecchio. I modelli piccoli sono i primi a peggiorare fuori dall'inglese.
Sotto i 7-8 miliardi di parametri l'italiano diventa impreciso, con calchi dall'inglese e concordanze sbagliate. Se il tuo caso d'uso è scrivere o riassumere in italiano, sali di taglia prima di scendere di quantizzazione.
Le famiglie di modelli open-weight, una per una
Queste sei famiglie coprono praticamente tutti i casi d'uso di un LLM in locale nel 2026. Le trovi tutte nei cataloghi dei runtime più diffusi e su Hugging Face, dove sono pubblicati i pesi e le quantizzazioni della community.
Qwen: il miglior compromesso generale
La famiglia Qwen di Alibaba copre l'arco più ampio di taglie, dai modelli sotto il miliardo di parametri fino alle varianti grandi, con versioni specializzate su codice.
È la scelta più razionale se devi installare un solo LLM in locale e usarlo per tutto: programmazione, spiegazioni tecniche, automazioni. Il punto interessante del 2026 sono le varianti Mixture of Experts, che cambiano l'aritmetica della scelta. Ne parlo nel dettaglio nell'analisi di Qwen 3.8 Flash-Next, il 125B che ne attiva solo 6.
Llama: la più accessibile in basso
I modelli Llama piccoli sono stati progettati esplicitamente anche per l'uso on-device: riassunto, riscrittura, instruction following.
Un 3B quantizzato gira su 8 GB e su hardware che hai già. Non aspettarti ragionamento complesso: aspettati un assistente rapido che non manda nulla in rete.
Mistral e Ministral: velocità ed edge
Ministral è disponibile in taglie pensate per il deployment locale ed edge. La variante intermedia quantizzata è una delle opzioni più equilibrate su un portatile da 16 GB, in particolare per lavorare su documenti e come assistente veloce.
Ha anche il vantaggio di essere un progetto europeo, se la provenienza conta nella tua valutazione.
GLM: coding e attività agentiche
La famiglia GLM punta forte su ragionamento, programmazione e comportamento agentico. Attenzione però a una trappola frequente: open-weight non significa "adatto a un laptop".
I modelli di punta restano pesanti e le quantizzazioni compatte costano in velocità o in contesto. Ho documentato i compromessi reali nella guida su GLM in locale con circa 25 GB di RAM.
gpt-oss: i pesi aperti di OpenAI
Con gpt-oss OpenAI ha rilasciato modelli a pesi aperti in due taglie, una pensata per girare su hardware consumer e una da datacenter.
Sono modelli con impostazione ragionativa, interessanti se il tuo flusso di lavoro è già costruito attorno alle convenzioni OpenAI e vuoi replicarne una parte offline.
Gemma: piccolo ma ben rifinito
La famiglia Gemma di Google copre le taglie basse e medie con una qualità sopra la media per i parametri che ha, incluse varianti multimodali.
È una buona alternativa a Llama nella fascia sotto gli 8 GB, soprattutto per compiti di comprensione e sintesi.
MoE: perché un 125B può girare come un 6B
I modelli Mixture of Experts hanno un numero enorme di parametri totali ma ne attivano solo una frazione a ogni token. La conseguenza pratica ribalta le regole abituali degli LLM in locale: ti serve la memoria per contenerli tutti, ma la velocità è quella dei soli parametri attivi.
Tradotto: un MoE è la scelta giusta se hai tanta memoria unificata ma poca potenza di calcolo, tipicamente su un mini PC con memoria condivisa.
È la scelta sbagliata se hai una GPU veloce ma con 12 o 16 GB di VRAM, perché il modello semplicemente non ci entra.
Quantizzazione: dove si perde qualità davvero
La quantizzazione riduce la precisione dei pesi per farli occupare meno spazio. È ciò che rende possibile eseguire un LLM in locale su hardware normale. Le soglie che contano nella pratica sono tre:
- Q8 — differenza rispetto all'originale quasi impercettibile, ma occupa il doppio di Q4. Ha senso solo se ti avanza memoria.
- Q4 — il punto di equilibrio standard. È qui che gira la stragrande maggioranza delle installazioni locali.
- Sotto Q4 — il degrado diventa visibile: istruzioni ignorate, ripetizioni, errori di sintassi nel codice. Evitalo, salvo esperimenti.
C'è un secondo consumo che quasi tutti dimenticano: la finestra di contesto occupa memoria a parte, e cresce con la lunghezza.
Caricare un repository intero o un PDF di duecento pagine può richiedere più RAM dei pesi del modello. Se il sistema rallenta in modo anomalo dopo un input lungo, è quasi sempre questo il motivo.
Su che hardware girano i migliori LLM in locale
Qui il discorso si incrocia con l'acquisto, ma senza esagerare: la macchina si compra dopo aver deciso il modello, non prima.
Portatile da 16 GB — quello che hai già
Basta per un 7B-8B quantizzato e per capire se un LLM in locale ti serve davvero.
È il punto di partenza che consiglio a chiunque prima di spendere: due settimane d'uso reale ti dicono più di qualsiasi benchmark.
Desktop con GPU dedicata — 32 GB e oltre
Una GPU con VRAM sufficiente resta il modo più veloce di far girare un modello che ci sta dentro. Il limite è netto: quando i pesi eccedono la VRAM, le prestazioni crollano.
Il confronto tra le due piattaforme principali è nell'analisi mini PC AI NVIDIA vs AMD per gli LLM.
Memoria unificata da 128 GB — la fascia dei modelli grandi
È la classe che permette di caricare modelli che nessuna GPU consumer regge, accettando una velocità inferiore. Ha senso per agenti, contesti lunghi e uso continuativo.
Dettagli e prezzi italiani nell'approfondimento sul mini PC Ryzen AI Max+ 395 con 128 GB, e le fasce complete nella guida al miglior computer per AI.
Un avvertimento sul budget: il prezzo della memoria è cresciuto in modo anomalo, e questo cambia il calcolo di convenienza. Ne ho scritto in prezzi RAM 2026: comprare ora o aspettare.
Con quale programma esegui un LLM in locale
Il modello è un file di pesi: serve un runtime che lo faccia girare. Le tre opzioni sensate:
- Ollama — da riga di comando, espone un endpoint API compatibile. È la scelta giusta se vuoi collegare il modello a script, agenti o al tuo editor: la documentazione ufficiale di Ollama spiega parametri e finestra di contesto. La configurazione con un flusso da sviluppatore è nella guida su Claude Code con Ollama e modelli locali.
- LM Studio — interfaccia grafica, catalogo integrato, ti dice in anticipo se un modello entra nella tua memoria. Il modo più rapido per iniziare senza terminale.
- llama.cpp — il motore sottostante. Serve quando vuoi controllo fine su parametri e ottimizzazioni.
Quattro errori che vedo ripetere sempre
- Scegliere il modello dal nome invece che dalla memoria. "È uscito il nuovo X" non significa che giri sulla tua macchina.
- Confrontare i benchmark ufficiali senza leggere la quantizzazione. I punteggi pubblicati sono a piena precisione: la tua Q4 non è quel modello.
- Dimenticare il contesto nel calcolo della RAM. È la causa numero uno dei rallentamenti improvvisi.
- Comprare hardware prima di aver testato. Parti da quello che hai, misura, poi decidi.
Quando un LLM in locale non conviene
Serve dirlo chiaramente: anche i migliori LLM in locale non sostituiscono un modello cloud di punta. Sono uno strumento diverso, più controllabile e generalmente meno capace sui compiti complessi.
Conviene quando privacy, assenza di rete, costi prevedibili o controllo dei dati sono requisiti veri: documenti riservati, ambienti isolati, automazioni che non devono dipendere da un fornitore.
Se invece ti serve la massima qualità su ragionamento complesso e non hai vincoli di riservatezza, il cloud resta la scelta razionale. Nel confronto su Claude offline e le alternative locali spiego dove passa esattamente questa linea.
Leggi anche
- Quanta RAM serve per un LLM in locale? Tabella 2026
- Mini PC AI NVIDIA vs AMD: quale scegliere per gli LLM?
- Claude offline: funziona in locale? Alternative 2026
- Qwen 3.8 Flash-Next: 125B che gira come un 6B
- Prezzi RAM 2026: conviene comprare ora o aspettare?
In conclusione
Il miglior LLM in locale nel 2026 è quello proporzionato alla tua memoria e alla tua attività, non quello in cima a una classifica.
Parti dalla tabella di scelta rapida, verifica la RAM contando anche il contesto, scegli la famiglia in base al compito e prova prima su ciò che possiedi già.
Se stai valutando un sistema AI locale per dati riservati o per automazioni aziendali, contattami: valutiamo insieme modello, hardware e costi reali prima di comprare una macchina sovradimensionata.
