Modelli AI in locale: quanta RAM e VRAM servono davvero?

Prima di comprare: chiarisci cosa vuoi fare

Un PC adatto a provare un chatbot locale non è necessariamente adatto a lavorarci ogni giorno. Per riassumere brevi testi, fare domande a un modello compatto o sperimentare con prompt, una configurazione comune può bastare; conversazioni lunghe, documenti voluminosi, generazione di codice e uso contemporaneo di più applicazioni richiedono più memoria e possono rendere evidenti i limiti della macchina. La domanda utile, quindi, non è «quanti gigabyte servono per l’AI?», ma quale modello vuoi caricare, con quale contesto e con quale attesa sui tempi di risposta.

Strumenti come Ollama e LM Studio semplificano l’avvio, ma non rendono uguali tutti i modelli né garantiscono le stesse prestazioni su ogni computer. Anche sistema operativo, processore, scheda grafica, memoria condivisa o dedicata e versione del software incidono sul risultato. I requisiti pubblicati da un’app sono un punto di partenza per sapere se può funzionare: non sono una promessa che ogni modello sarà veloce o entrerà comodamente in memoria.

RAM, VRAM e dimensione del modello

I pesi del modello occupano memoria mentre il programma genera una risposta. La quantizzazione riduce la precisione con cui vengono rappresentati quei pesi e spesso ne riduce l’ingombro, con compromessi che dipendono dal modello e dalla quantizzazione scelta. Il file scaricato, però, non è l’intero fabbisogno: servono risorse anche per il contesto della conversazione, la cache e il runtime. Perciò un modello che sembra entrare appena nella memoria disponibile può lasciare poco spazio alle altre applicazioni o costringere il sistema a usare memoria più lenta.

La memoria della GPU, chiamata VRAM, può ospitare parte o tutti i calcoli del modello; la RAM di sistema resta importante, soprattutto quando si usa la CPU o si distribuisce il carico tra dispositivi. Non esiste una soglia universale come «16 GB bastano» o «serve una scheda da 16 GB»: il risultato cambia con modello, formato, lunghezza del contesto e backend. LM Studio indica 16 GB di RAM come raccomandazione generale per Windows e almeno 4 GB di VRAM dedicata come riferimento, ma specifica che modelli e configurazioni incidono. Sono minimi pratici per orientarsi, non una garanzia per i modelli più pesanti.

Il contesto può cambiare il fabbisogno

Il contesto è la quantità di testo che il modello può considerare durante una richiesta. Una chat breve e l’analisi di un documento lungo non hanno lo stesso costo: aumentando il contesto cresce anche la memoria necessaria. Ollama, per esempio, documenta impostazioni predefinite diverse in funzione della VRAM e avverte che aumentare la finestra di contesto richiede più memoria. Se il PC carica un modello ma rallenta quando incolli un documento, il problema potrebbe dunque non essere soltanto la dimensione dei suoi pesi.

Prima di cambiare computer, prova un modello più piccolo o una quantizzazione più leggera e riduci il contesto. Chi usa LM Studio può chiedere una stima delle risorse prima del caricamento; con Ollama, il comando ollama ps mostra il modello caricato e come il carico è ripartito tra CPU e GPU. Queste verifiche aiutano a distinguere un limite di memoria da un’aspettativa di velocità troppo alta.

Come scegliere senza inseguire i benchmark

Per iniziare, controlla quanta RAM è libera quando chiudi i programmi più pesanti e verifica la memoria della GPU, se presente. Scarica poi un modello adatto al tuo compito, non semplicemente quello con più parametri: un modello compatto può essere più pratico per domande quotidiane, mentre un’attività specialistica può beneficiare di capacità diverse. Esegui alcune prove rappresentative, compresi i prompt e i documenti che userai davvero, osservando tempi di caricamento, velocità di risposta e uso della memoria. Un singolo risultato pubblicato online non è un confronto diretto se cambiano modello, quantizzazione, contesto e sistema.

Se acquisti un PC, considera anche gli altri usi: RAM non espandibile, raffreddamento, autonomia e spazio su disco sono parte della scelta. Conservare più modelli può richiedere molto spazio, anche quando non sono caricati; una GPU più potente può aiutare, ma non sostituisce la RAM necessaria al sistema e non trasforma automaticamente un modello locale in un servizio cloud di pari capacità. Su un computer già disponibile, iniziare con modelli piccoli è spesso il modo meno costoso per capire se il flusso di lavoro locale è davvero utile.

Locale non significa costo zero

L’inferenza può avvenire sul proprio computer, ma scaricare programmi e modelli richiede normalmente una connessione e spazio di archiviazione. «Locale» descrive dove viene elaborata la richiesta in quella configurazione, non una garanzia assoluta sulle impostazioni di ogni applicazione o sui servizi collegati: prima di usare documenti riservati, controlla le funzioni attivate e le impostazioni del programma. Restano inoltre il consumo elettrico e il tempo necessario per configurare e aggiornare l’ambiente.

In pratica, 16 GB di RAM sono un punto di partenza sensato per sperimentare con modelli contenuti, non una soglia che assicura ogni uso; più memoria e una GPU con VRAM adeguata ampliano le opzioni, ma il beneficio dipende dal modello e dal contesto. Parti dal compito, prova una configurazione reale e lascia margine alla memoria: è un criterio più affidabile che inseguire una cifra o un benchmark isolato.