Come funziona davvero un LLM

Quando scrivi una domanda a ChatGPT, Claude o Gemini sembra di parlare con qualcuno che “sa”. In realtà dall’altra parte c’è un meccanismo sorprendentemente semplice nella sua idea di base, e incredibilmente complesso nella sua scala. Capirlo cambia il modo in cui lo usi: smetti di fidarti dove non dovresti e inizi a sfruttarlo dove rende di più.

Una macchina che prevede la parola successiva

Il cuore di ogni modello linguistico è un gioco di completamento. Dato un testo, il modello calcola quanto è probabile ogni possibile continuazione e ne sceglie una. Poi aggiunge la parola scelta al testo e ricomincia. Una risposta di 500 parole è il risultato di circa 700 di questi passaggi in fila.

Provalo qui sotto: puoi scegliere tu la parola successiva o lasciarla scegliere al “modello”. Le probabilità sono illustrative, ma il meccanismo è esattamente questo.

Due cose da notare:

1. Il modello non pianifica la frase intera nel senso umano del termine. Ogni scelta condiziona le successive. Per questo, se parte su una strada sbagliata, tende a proseguire con coerenza su quella strada (è una delle origini delle allucinazioni).
2. La risposta non è fissa. Con la stessa domanda puoi ottenere risposte diverse, perché la scelta avviene “pescando” tra le opzioni secondo le loro probabilità. La temperatura regola quanto il modello osa: bassa, sceglie quasi sempre la più probabile; alta, pesca più spesso tra le meno probabili.

I token: le parole della macchina

Il modello non vede lettere né parole intere: vede token, pezzi di testo che un algoritmo (il tokenizer) ha imparato a separare in base a quanto spesso compaiono. Le parole comuni sono un token solo; quelle lunghe o rare vengono spezzate.

• “casa” → 1 token
• “intelligenza” → probabilmente 2 token (“intellig” + “enza”)
• “precipitevolissimevolmente” → 6 o 7 token

Regole pratiche utili:

• In inglese 100 parole sono circa 130 token; in italiano circa 140-160, perché i tokenizer sono stati costruiti soprattutto su testi inglesi. Scrivere in italiano costa un po’ di più.
• Si paga a token, sia in lettura (input) sia in scrittura (output). Un modello come GPT-6.1 Sol costa 2 dollari per milione di token letti e 10 per milione di token scritti.
• I numeri e i calcoli sono spezzati in modo strano: “2026” può essere uno o due token. È uno dei motivi per cui gli LLM sbagliano l’aritmetica se non usano una calcolatrice (oggi la usano: eseguono codice).

Come fa a capire il significato: embedding e attenzione

Ogni token viene trasformato in un embedding: una lista di migliaia di numeri che rappresenta il suo significato come un punto in uno spazio. Parole con significati simili finiscono vicine: “re” e “regina”, “Roma” e “Milano”, “fattura” e “ricevuta”.

Ma una parola da sola è ambigua. “Banca” è un istituto di credito o la sponda di un fiume? Qui entra in gioco l’idea che nel 2017 ha cambiato tutto, presentata da otto ricercatori di Google nell’articolo Attention Is All You Need: il Transformer e il suo meccanismo di attenzione.

Con l’attenzione, ogni token “guarda” tutti gli altri token del testo e decide quanto ciascuno è rilevante per lui. In “Ho depositato lo stipendio in banca”, il token “banca” presta molta attenzione a “depositato” e “stipendio”, e il suo significato si sposta verso l’istituto di credito. Questo succede in decine di strati uno sopra l’altro: nei primi il modello capisce la grammatica, negli ultimi concetti, intenzioni, tono.

Le tre fasi dell’addestramento

Un modello come Claude Opus 5.5 o GPT-6 non nasce già capace di conversare. Passa per tre fasi molto diverse.

1. Pre-training: leggere quasi tutto

Il modello legge una quantità enorme di testo (pagine web, libri, articoli scientifici, codice) e per ognuno si allena al compito di sempre: prevedere il token successivo. Ogni errore corregge di pochissimo i suoi parametri, cioè i numeri che ne regolano il comportamento. I modelli di frontiera ne hanno da centinaia di miliardi a diverse migliaia di miliardi.

Questa fase richiede decine di migliaia di GPU per mesi e costa centinaia di milioni di dollari. Il risultato è un “modello base” che sa moltissimo, ma non sa rispondere: se gli scrivi “Come si apre una partita IVA?”, potrebbe continuare con “Come si chiude una partita IVA? Come si cambia regime?”, perché in rete quella domanda compare spesso in un elenco di domande.

2. Istruzione: imparare a rispondere

Il modello base viene allenato su centinaia di migliaia di esempi di conversazioni ben fatte, scritte da persone: domanda e risposta ideale. Impara il formato del dialogo, a seguire le istruzioni, a usare un tono da assistente.

3. Rinforzo: imparare cosa è meglio

Infine il modello impara da un segnale di qualità. Nella forma classica (RLHF, reinforcement learning from human feedback) delle persone confrontano due risposte e indicano la migliore; il modello impara a produrre più spesso risposte del tipo preferito. Dal 2024 si usa sempre di più anche il rinforzo su problemi verificabili (matematica, codice, compiti con una risposta controllabile): il modello prova, viene premiato quando ha ragione e impara strategie di ragionamento. È così che sono nati i modelli che “pensano” prima di rispondere.

Cosa c’è dentro: una compressione, non un archivio

Un errore comune è immaginare che il modello contenga un archivio di testi da cui “recupera” le risposte. Non è così. I parametri sono una compressione statistica di ciò che il modello ha letto: regolarità, concetti, relazioni, stili. Il modello non ha la pagina di Wikipedia su Leonardo: ha una rappresentazione distribuita di “cose che si dicono di Leonardo”.

Conseguenze pratiche:

• I fatti molto noti sono affidabili, quelli rari no. Sulla data di nascita di Dante il modello non sbaglia; sulla sentenza della Cassazione di tre mesi fa sì, e può inventarla con sicurezza.
• Ha una data di conoscenza. Sa poco o nulla di ciò che è successo dopo la fine dei suoi dati di addestramento, a meno che non usi la ricerca web. Per questo il chatbot di Lumen consulta in tempo reale Artificial Analysis, Arena e TestingCatalog per le domande sull’attualità.
• Non sa cosa non sa. Non ha un “indicatore di certezza” affidabile: lo stesso tono sicuro accompagna risposte giuste e sbagliate.

Perché scrivere costa più che leggere

Quando invii un messaggio, il modello lavora in due tempi:

1. Lettura (prefill). Elabora tutto il testo di ingresso in parallelo, in un colpo solo. È veloce ed efficiente.
2. Scrittura (decode). Genera la risposta un token alla volta: per ogni token deve ripassare l’intero modello. È lento e occupa la GPU molto più a lungo.

Per questo nei listini il prezzo dell’output è da 4 a 5 volte quello dell’input (GPT-6.1 Sol: $2 contro $10; Claude Opus 5.5: $4 contro $20). E per questo i modelli che ragionano a lungo, generando migliaia di token di “pensiero” prima della risposta, costano di più e sono più lenti.

Su Artificial Analysis la velocità tipica dei modelli di punta va da circa 45 a 240 token al secondo: Claude Haiku 5.5 scrive circa 240 token al secondo, GPT-6 Astra circa 44.

Cosa un LLM non è

• Non è un motore di ricerca. Senza la ricerca web attiva non consulta nulla: ricorda, nel senso statistico appena visto.
• Non è una calcolatrice. I modelli moderni però sanno quando usare uno strumento: per i calcoli scrivono ed eseguono codice. Chiedilo esplicitamente quando i numeri contano.
• Non ricorda le altre chat a meno che non sia attiva una funzione di memoria, che in realtà inserisce appunti salvati nel contesto della nuova conversazione.
• Non è cosciente. Il dibattito filosofico è aperto e interessante, ma per l’uso quotidiano la cosa utile da ricordare è un’altra: produce testo plausibile, che spesso è anche vero. “Spesso” non vuol dire “sempre”.

Cosa significa per te, in pratica

1. Dai contesto. L’attenzione lavora su ciò che scrivi: più informazioni pertinenti, risposte più pertinenti.
2. Verifica i fatti rari e i numeri. Più un’informazione è specifica, recente o di nicchia, più va controllata.
3. Chiedi strumenti quando servono. “Usa la ricerca web e cita le fonti”, “calcola eseguendo codice”.
4. Ripeti le domande importanti. Se due risposte alla stessa domanda divergono, è un segnale che il modello non è sicuro.
5. Scegli il modello per il compito. Per scrivere un’email basta un modello veloce ed economico; per un’analisi complessa serve uno che ragiona. Lo vediamo nella guida su come scegliere modello e abbonamento.

Fonti

• Vaswani et al., "Attention Is All You Need" (2017)
• 3Blue1Brown — Large Language Models explained briefly
• Andrej Karpathy — Deep Dive into LLMs like ChatGPT
• Tradeoff Layer — Why Output Tokens Cost 5x More
• Artificial Analysis — LLM Leaderboard

Contenuto informativo aggiornato alla data indicata. Prezzi, modelli e norme cambiano spesso: verifica sempre sulle fonti ufficiali. Testo scritto con il supporto di strumenti di AI e rivisto dall'autore.