Contesto e memoria, perché l'AI "dimentica"

Il modello non ricorda: rilegge

Questa è forse la cosa più controintuitiva sugli assistenti AI. Quando chatti, ti sembra che il modello ricordi quello che vi siete detti. In realtà, ogni volta che invii un messaggio, l’app manda al modello tutta la conversazione dall’inizio, più le istruzioni nascoste di sistema, più gli eventuali file. Il modello la legge per intero, scrive la risposta e “dimentica” tutto. Al messaggio successivo si ricomincia, con un pezzo in più.

Due conseguenze immediate:

• Le conversazioni lunghe costano di più e sono più lente, perché a ogni giro c’è più testo da rileggere.
• Esiste un limite: quando la conversazione supera la finestra di contesto, le parti più vecchie vengono tagliate o riassunte dall’app. A quel punto il modello davvero non “sa” più cosa avevate deciso all’inizio.

Quanto è grande la finestra

La finestra di contesto si misura in token (vedi la guida su come funziona un LLM). A ottobre 2026, secondo Artificial Analysis, quasi tutti i modelli di punta hanno una finestra di circa 1 milione di token: Claude Opus e Sonnet 5.5, GPT-6.1 Sol, Gemini 4 Argon. Llama 4 Scout arriva a 10 milioni.

Attenzione però: nelle app la finestra è spesso più piccola di quella del modello via API. Per esempio, la pagina prezzi di ChatGPT indica per la modalità Instant un contesto totale di 27.000 token nel piano Free (circa 12 pagine di testo), 54.000 in Go e Plus e 128.000 in Pro; per il ragionamento si sale a 256.000 token in Go e Plus e 400.000 in Pro. Claude indica “fino a 1M, varia in base al modello” in tutti i piani.

Usa il calcolatore per capire quanto “pesa” un documento:

Perché le conversazioni lunghe peggiorano

Anche quando tutto entra nella finestra, non tutto viene considerato allo stesso modo. Uno studio del 2023 (Lost in the Middle) ha mostrato che i modelli usano meglio le informazioni all’inizio e alla fine del contesto, e peggio quelle in mezzo. I modelli di oggi sono molto migliorati, ma il fenomeno non è sparito: con conversazioni lunghe e piene di deviazioni, la qualità cala. Nel gergo degli sviluppatori si parla di context rot, il contesto che “marcisce”.

Segnali che stai superando il punto utile:

• il modello ripete errori che avevi già corretto;
• dimentica un vincolo dato all’inizio (“massimo 200 parole”, “niente elenchi”);
• mescola dettagli di due versioni diverse dello stesso documento.

Dove mettere le cose importanti

Visto che inizio e fine pesano di più:

• metti istruzioni e vincoli all’inizio del messaggio;
• se incolli un documento lungo, ripeti la domanda alla fine, dopo il documento;
• per i documenti molto lunghi chiedi prima una mappa (“elenca le sezioni con il numero di pagina”) e poi lavora sezione per sezione.

Memoria, progetti e istruzioni personalizzate

Le app hanno aggiunto funzioni che sembrano “memoria”, ma funzionano tutte allo stesso modo: inseriscono automaticamente testo nel contesto.

• Istruzioni personalizzate: un testo che scrivi una volta (“sono un commercialista, rispondi in italiano, sii sintetico”) e che viene aggiunto all’inizio di ogni chat.
• Memoria: l’assistente salva appunti su di te durante le conversazioni (“lavora con partite IVA forfettarie”) e li reinserisce nelle chat successive. Puoi vederli, modificarli e cancellarli dalle impostazioni.
• Progetti: una cartella con istruzioni e file che vengono messi nel contesto di ogni chat del progetto. Sono il modo migliore per lavorare a lungo su uno stesso tema (un cliente, un libro, un corso).

RAG: cercare prima di rispondere

Quando le informazioni sono troppe per stare nel contesto (tutti i documenti di un’azienda, tutte le pagine di un sito) si usa la RAG, Retrieval-Augmented Generation:

1. i documenti vengono divisi in pezzi e indicizzati;
2. quando arriva una domanda, un motore di ricerca trova i pezzi più pertinenti;
3. solo quei pezzi vengono messi nel contesto, insieme alla domanda;
4. il modello risponde basandosi su di essi e può citarli.

È esattamente come funziona il chatbot di Lumen: quando gli chiedi qualcosa sul sito, cerca i passaggi rilevanti tra tutte le guide e le pagine, li legge e risponde citando i link. Per le notizie fresche fa lo stesso sulle pagine di quattro siti esterni.

Strumenti come Gemini Notebook (ex NotebookLM) e i Progetti di ChatGPT e Claude applicano la stessa idea ai tuoi file: carichi PDF, appunti, video, e l’assistente risponde solo su quelle fonti, indicando da dove prende ogni affermazione.

La cache: perché a volte costa meno

Se via API mandi spesso lo stesso inizio di testo (le stesse istruzioni, lo stesso documento), i fornitori possono memorizzare in cache la parte già letta e fartela pagare molto meno alle richieste successive. Non cambia nulla nella qualità, ma per chatbot e automazioni può ridurre i costi in modo importante. Anthropic, per esempio, a ottobre 2026 ha ulteriormente ridotto i costi di lettura dalla cache per Sonnet 5.5.

In pratica

1. Una chat per argomento. Non usare la stessa conversazione per cose diverse.
2. Riparti con un riassunto quando la chat si allunga o il modello inizia a sbagliare.
3. Istruzioni all’inizio, domanda anche alla fine quando incolli testi lunghi.
4. Usa i progetti per i lavori ricorrenti, con istruzioni e documenti di riferimento.
5. Controlla la memoria dell’app ogni tanto e cancella ciò che non serve.
6. Per molti documenti, usa la RAG: Gemini Notebook, Progetti, o un sistema dedicato.

Fonti

• ChatGPT — Piani e limiti di contesto
• Claude — Piani e finestra di contesto
• Liu et al., "Lost in the Middle: How Language Models Use Long Contexts" (2023)
• IBM Technology — What is a Context Window?
• IBM Technology — What is Retrieval-Augmented Generation (RAG)?

Contenuto informativo aggiornato alla data indicata. Prezzi, modelli e norme cambiano spesso: verifica sempre sulle fonti ufficiali. Testo scritto con il supporto di strumenti di AI e rivisto dall'autore.