L'addestramento che fa la differenza: dal rinforzo al ragionamento
La serie ha aperto la macchina - il Transformer, il suo montaggio, le architetture e le loro evoluzioni - e ha mostrato che il meccanismo è lo stesso per tutti i modelli. Ma chi usa i modelli di linguaggio sa che non sono tutti uguali: la stessa architettura può produrre un assistente ordinato e un ragionatore ostinato. Che cosa li separa? Non i pezzi: l’addestramento. Questo pezzo racconta le quattro fasi che trasformano uno scheletro identico in modelli dal carattere diverso, e chiude la promessa fatta nel primo pezzo: Turing, nel 1950, immaginò una macchina istruita con premi e punizioni, e la serie aveva promesso di finire lì. Finisce esattamente lì.
Il preaddestramento: imparare a predire
La prima fase insegna una cosa sola: predire il prossimo token su un corpus enorme. Il modello impara il sapere - la lingua, i fatti, i modi - ma continua il testo: non risponde, prosegue.
La prima fase si chiama preaddestramento: è la fase che la serie ha descritto fin qui - il modello riceve miliardi di testi e impara a predire il prossimo token. È lo stesso meccanismo del pezzo sul Transformer - leggere una sequenza, allungarla di un token - solo su una scala enorme. Alla fine di questa fase il modello sa: conosce la lingua, i fatti, i modi di dire, le strutture, perché li ha visti milioni di volte. È il sapere, non il comportamento.
Il limite si vede subito. Un modello appena preaddestrato non risponde a una domanda: continua il testo. Se gli date «Qual è la capitale della Francia?», prosegue come se fosse una frase da completare, o fa domande, o vaga. Sa tutto e non fa niente di quello che gli chiedete. Il preaddestramento dà il materiale; manca la forma.
L’istruzione: imparare a rispondere
La seconda fase insegna la forma: su coppie di domanda e risposta, il modello impara a obbedire invece di continuare. È l’istruzione supervisionata, e da qui inizia l’allineamento.
La seconda fase si chiama istruzione supervisionata - nel gergo, SFT, supervised fine-tuning. Si prende una raccolta di coppie di istruzione e risposta - scritte da umani, curate - e si riallena il modello su di esse. La differenza con il preaddestramento è sottile e decisiva: le etichette non sono più il token successivo qualunque, sono la risposta giusta a una richiesta. Il modello impara la forma: quando qualcuno chiede, si risponde. Da qui inizia ciò che il settore chiama allineamento - il processo che rende il modello utile, onesto e innocuo, o almeno lo tenta.
Il lavoro che formalizzò la ricetta è InstructGPT, del 2022: un GPT-3 riadattato a seguire le istruzioni, con risultati molto migliori del modello di partenza a parità di architettura. È la prova che il carattere non sta nei pezzi: sta nell’addestramento.
Il rinforzo da preferenze umane
La terza fase aggiunge il gusto: persone classificano le risposte, un modello di ricompensa impara la classifica, e il modello viene addestrato a produrre risposte preferite. È il rinforzo del primo pezzo, applicato al linguaggio.
La terza fase riprende l’idea più antica della serie: l’apprendimento per rinforzo del primo pezzo - la macchina-bambina di Turing, la routine di Samuel. Per il linguaggio il rinforzo ha bisogno di una ricompensa, e quella fatta di preferenze umane si costruisce così. Un gruppo di persone classifica le risposte del modello - questa è migliore, questa è peggiore. Da quelle classifiche si allena un secondo modello, il modello di ricompensa, che impara a prevedere quale risposta piacerà. Poi il modello principale viene addestrato a massimizzare quella ricompensa: è il rinforzo da preferenze umane, in sigla RLHF.
Il meccanismo ha un pregio e un limite, entrambi chiari. Il pregio: il modello impara a produrre ciò che le persone preferiscono, e la qualità percepita sale molto. Il limite: la ricompensa è un gusto, non un fatto - il modello di ricompensa può essere ingannato, e il modello principale può imparare a soddisfare la classifica invece che la richiesta. Per i compiti dove la risposta giusta esiste e si può verificare, la strada è più diretta.
Il rinforzo con ricompense verificabili: i modelli che ragionano
Per matematica e codice la ricompensa non è un gusto ma un fatto: la risposta giusta, il test che passa. Il rinforzo su ricompense verificabili ha fatto emergere una capacità che nessuno aveva addestrato di proposito: pensare a lungo prima di rispondere.
La soluzione di un’equazione è giusta o sbagliata; un programma supera i test o no. Per questi compiti il rinforzo può usare una ricompensa verificabile - il rinforzo con ricompense verificabili, RLVR nel gergo: nessun classificatore umano, nessun modello di ricompensa, solo il fatto. Da questo addestramento è arrivata la novità che ha cambiato il settore.
Il rapporto di DeepSeek-R1 documenta il fenomeno con una trasparenza rara: addestrando con il solo rinforzo su ricompense verificabili, il modello ha cominciato a pensare prima di rispondere - a scrivere catene di ragionamento interne, a verificare i propri passaggi, a riflettere a lungo, con una frase che i ricercatori riportano nel rapporto: «Aha, ci sono arrivato!». È l’emergere dei modelli di ragionamento: invece di rispondere subito, dedicano centinaia o migliaia di token a ragionare prima della risposta. È la famiglia a cui appartengono molti modelli di oggi, a partire da DeepSeek R1.
La lunghezza della risposta è il sintomo; la sostanza è che la capacità di ragionare a catena non era stata addestrata direttamente. Nessuno aveva insegnato al modello a pensare passo per passo - era emersa dal rinforzo, come la strategia migliore per ottenere ricompense verificabili. È l’esempio più forte, nella serie, della tesi del primo pezzo: invece di scrivere le regole, si lascia che emergano dagli esempi - o, qui, dalle ricompense.
Il dibattito sull’emergenza
La parola «emergenza» è contestata: c’è chi sostiene che le capacità emergenti siano un artefatto di misura, non un salto di natura. Il dibattito è aperto, e la serie lo dichiara.
La parola che descrive il fenomeno - emergenza - è al centro di un dibattito che la serie non può tacere. Un lavoro del 2023, dal titolo programmatico Are Emergent Abilities of Large Language Models a Mirage?, sostiene che molte cosiddette capacità emergenti sono un artefatto di misura: compaiono come un salto improvviso solo perché le metriche usate sono non lineari, e spariscono con metriche diverse. Altri lavori rispondono che alcune capacità emergono davvero, e che il fenomeno non si riduce alla misura.
La posizione di casa è la regola di questo blog: quando il dibattito scientifico è aperto, lo si dice. Questo pezzo può raccontare che il rinforzo su ricompense verificabili produce modelli che ragionano - lo mostrano i rapporti e le misurazioni - e deve dichiarare che la parola «emergenza» è contestata, e che non esiste oggi una spiegazione condivisa di che cosa, esattamente, è emerso e perché.
Potete vedere il carattere cambiare: il widget qui sotto fa passare lo stesso prompt - la richiesta scritta al modello - di fase in fase dell’addestramento. Le risposte sono una simulazione dichiarata - il modello vero non sta nel browser - ma la differenza di carattere è quella del pezzo: il preaddestrato continua il testo, l’istruito risponde, il rifinito aggiunge il gusto, il rinforzato ragiona prima di rispondere.
La promessa del primo pezzo
Turing immaginò nel 1950 una macchina istruita con premi e punizioni. A tre quarti di secolo di distanza, i modelli di ragionamento sono addestrati esattamente così: una ricompensa verificabile, e la capacità di pensare che emerge da sola.
La serie è cominciata con una promessa: il primo pezzo diceva che Turing, nel 1950, aveva descritto senza chiamarlo così il programma di ricerca dell’apprendimento - la macchina-bambina istruita con punizioni e ricompense - e che la serie si sarebbe chiusa lì. Il rinforzo con ricompense verificabili è esattamente quel programma, applicato alla scala moderna: la storia è tornata al suo inizio, come Turing aveva immaginato.
E la lezione che attraversa tutti i dieci pezzi è una sola, la prima che la serie ha detto: si possono scrivere le regole, o si può far apprendere. I modelli di linguaggio di oggi sono la prova che la seconda strada funziona fino in fondo - dal neurone di carta del 1943 al modello che pensa prima di rispondere, passando per premi e punizioni.
I concetti che questo articolo introduce
Cinque voci coprono le quattro fasi dell’addestramento e la svolta del ragionamento.
| Concetto | Ambito | Che cos’è | Si lega a |
|---|---|---|---|
| Preaddestramento | machine-learning | La prima fase: predire il prossimo token su un corpus enorme; il modello impara il sapere ma continua il testo invece di rispondere | usa la retropropagazione e il meccanismo del modello di linguaggio; precede l’istruzione supervisionata |
| Istruzione supervisionata | machine-learning | La seconda fase: riaddestrare il modello su coppie di istruzione e risposta, perché impari a obbedire invece di continuare; è l’inizio dell’allineamento | segue il preaddestramento; è un caso di apprendimento supervisionato; prepara il rinforzo da preferenze umane |
| Rinforzo da preferenze umane | machine-learning | Il rinforzo la cui ricompensa è un gusto: classifiche umane, un modello di ricompensa, e l’addestramento a produrre risposte preferite | è un caso di apprendimento per rinforzo; si contrappone al rinforzo con ricompense verificabili |
| Rinforzo con ricompense verificabili | machine-learning | Il rinforzo la cui ricompensa è un fatto: la risposta giusta, il test che passa; da qui emergono i modelli di ragionamento | è un caso di apprendimento per rinforzo; produce i modelli di ragionamento; richiama la macchina-bambina di Turing |
| Modelli di ragionamento | machine-learning | I modelli che pensano a lungo prima di rispondere, con catene di ragionamento interne, addestrati con ricompense verificabili | derivano dal rinforzo con ricompense verificabili; la loro capacità è al centro del dibattito sull’emergenza |
Fonti
Le affermazioni portanti vengono dai paper e dai rapporti citati, letti per questo pezzo; i rapporti di DeepSeek e Qwen sono già in Fonti dei pezzi precedenti.
- Improve and Manage,
serie-machine-learning,
GitHub, 2026 - il repository dei widget della serie: qui stanno le
quattro fasi di questo pezzo (cartella
addestramento/), insieme ai widget di tutti gli altri pezzi della serie. - Long Ouyang e colleghi, Training language models to follow instructions with human feedback, NeurIPS 2022, primaria aperta e letta - InstructGPT: l’istruzione supervisionata e il rinforzo da preferenze umane che trasformano un modello preaddestrato in un assistente che obbedisce.
- DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025, primaria aperta e letta - il rinforzo puro su ricompense verificabili, la comparsa del ragionamento a catena e la frase riportata nel rapporto («Aha, ci sono arrivato!»).
- Rylan Schaeffer, Brando Miranda e Sanmi Koyejo, Are Emergent Abilities of Large Language Models a Mirage?, NeurIPS 2023, primaria aperta, letto l’abstract - la tesi dell’artefatto di misura: le capacità emergenti come effetto delle metriche non lineari; il lato del dibattito che la serie dichiara.
- Tom Brown e colleghi, Language Models are Few-Shot Learners, NeurIPS 2020, primaria aperta e letta (già in Fonti del pezzo sulle architetture) - il preaddestramento su scala: GPT-3 e la forma decoder-only.
- Alan M. Turing, Computing Machinery and Intelligence, Mind 59, 1950, primaria aperta e letta (già in Fonti del primo pezzo) - la macchina-bambina e l’istruzione per premi e punizioni, dove la serie ha promesso di chiudere.