Le architetture a confronto: come leggere la scheda di un modello
La serie ha aperto il Transformer pezzo per pezzo e ha raccontato i suoi trucchi: ora è il momento della mappa dei modelli veri. Chi usa un modello di linguaggio ogni giorno - GPT, Claude, DeepSeek, Qwen, GLM - si trova davanti a nomi e schede, e la domanda è sempre la stessa: che cosa sono, davvero, e che cosa posso sapere di loro? La risposta ha due parti. La prima è che tutti i modelli di linguaggio di oggi parlano la stessa grammatica: quella che la serie ha costruito con il cacciavite, con scelte diverse sui pezzi. La seconda è che la documentazione non è la stessa per tutti: alcuni modelli dichiarano l’architettura per intero, altri no. Leggere una scheda di modello significa sapere quale delle due situazioni si ha davanti.
Le tre forme del Transformer
Il Transformer si piega in tre forme: encoder-only che legge, decoder-only che genera, encoder-decoder che legge e poi genera. I modelli di linguaggio di oggi sono quasi tutti decoder-only.
La grammatica del Transformer ammette tre montaggi, e la differenza sta in quali pezzi si usano e in come funziona la maschera.
L’encoder-only usa solo la parte che legge: trasforma la sequenza in rappresentazioni, senza mai generare. È la forma di BERT, il modello che nel 2018 dimostrò che un Transformer addestrato su tanto testo impara a capire il linguaggio - classificare, rispondere a domande, trovare la frase giusta. Legge, non parla.
Il decoder-only usa solo la parte che genera: legge la sequenza e produce il prossimo token, uno alla volta, con la maschera causale che la serie ha aperto nel pezzo sull’attenzione. È la forma di quasi tutti i modelli di linguaggio di oggi - GPT, Claude, DeepSeek, Qwen, GLM - e di conseguenza la serie l’ha costruita pezzo per pezzo: nanoGPT è un decoder-only.
L’encoder-decoder usa entrambe le parti: un codificatore trasforma l’ingresso, un decodificatore genera l’uscita. È la forma della traduzione - il modello di Bahdanau che la serie ha incontrato nel pezzo sull’attenzione - e di T5, che riportò l’encoder-decoder al testo. Legge e poi parla, con un passaggio in mezzo.
I decoder-only hanno vinto perché generare è il compito: un modello di linguaggio deve continuare un testo, e il decoder-only lo fa nel modo più diretto. L’encoder-decoder conserva un vantaggio dove l’ingresso e l’uscita sono davvero diversi - tradurre, riassumere - ma la generazione libera, la conversazione, il ragionamento a catena hanno trovato nel decoder-only la forma giusta. È una scelta del settore, non una legge: la grammatica è la stessa.
Denso o misto: la scelta del MoE
Il denso attiva tutti i parametri a ogni token; il misto ne attiva pochi. La scheda dichiara i totali e gli attivi: GPT-3 è denso da 175 miliardi, DeepSeek-V3 è misto con 671 totali e 37 attivi.
La seconda scelta che separa i modelli è quella che il pezzo sulle evoluzioni ha aperto: denso o misto. Un modello denso - come GPT-3, 175 miliardi di parametri dichiarati nel suo paper - attiva tutti i parametri a ogni token: semplice da descrivere, caro per token. Un modello a miscela di esperti attiva pochi esperti: DeepSeek-V3 dichiara 671 miliardi totali e 37 attivi, Qwen3-235B-A22B 235 totali e 22 attivi. La scheda che dichiara i due numeri dice subito che cosa il modello paga in memoria (i totali) e che cosa paga per token (gli attivi).
La scelta non è «il misto è meglio»: è un compromesso. Il misto concentra la qualità nei parametri totali e tiene basso il calcolo per token, ma vuole memoria per tutti gli esperti e un instradamento ben addestrato. Il denso è più semplice e più prevedibile, e su modelli piccoli resta la scelta naturale. Per questo la serie li ha aperti: chi legge i due numeri legge la natura del modello.
I documentati: DeepSeek, Qwen, GLM
Tre famiglie pubblicano rapporto tecnico e pesi: DeepSeek (MoE e MLA), Qwen (dense e misto, GQA), GLM (la famiglia documentata da GLM-130B). Di questi modelli la serie può dire com’è fatto dentro, perché lo dicono loro.
I modelli che la serie ha usato come esempi nei pezzi precedenti hanno una proprietà comune: documentano l’architettura e aprono i pesi.
DeepSeek pubblica il rapporto tecnico di V3 - la miscela di esperti da 671 miliardi, l’attenzione latente MLA che comprime la cache - e la famiglia continua con i modelli di ragionamento che il pezzo finale racconterà. Qwen pubblica il rapporto di Qwen3 - le versioni dense e miste, la GQA, le 119 lingue - e apre i pesi. GLM pubblica il lavoro che attraversa la famiglia da GLM-130B a GLM-4 All Tools. Per questi tre, la scheda è verificabile: si può controllare che cosa dichiara, come è fatto, e perfino scaricare i pesi e misurarli.
Per la serie questa è la condizione che permette di spiegare: quando il pezzo sulle evoluzioni ha messo fianco a fianco la MLA di DeepSeek e la GQA di Qwen, non stava indovinando - stava leggendo i rapporti. La documentazione è la materia prima della divulgazione.
I muti: GPT e Claude
OpenAI ha documentato GPT-2 e GPT-3, poi ha smesso: da GPT-4 i rapporti non dichiarano architettura né taglia. Anthropic non ha mai pubblicato un rapporto sull’architettura di Claude. Di questi modelli si sa la famiglia, non i numeri.
L’altra metà del panorama è fatta di modelli che non documentano l’architettura: è una realtà del settore, e saperla leggere fa parte della competenza.
OpenAI ha documentato i primi modelli: GPT-2 nel 2019 con un rapporto leggibile, GPT-3 nel 2020 con un paper che dichiara la taglia e l’addestramento. Da GPT-4 in poi la pratica è cambiata: il rapporto tecnico di GPT-4 descrive capacità e valutazioni, ma non dichiara architettura, taglia, né dettagli di addestramento - una scelta criticata pubblicamente, perché di un rapporto di ricerca ha solo il nome. Di GPT-4o, o1 e dei modelli successivi non esiste alcun paper di architettura.
Anthropic non ha mai pubblicato un rapporto sull’architettura di Claude. Le fonti pubbliche sono le system card - documenti di sicurezza e uso, non di architettura - e la ricerca di interpretabilità, che mostra come l’interno di Claude appare (quali caratteristiche emergono, come lavorano), non come è stato addestrato. Di Claude si sa la famiglia per il pattern dell’ecosistema e per la ricerca di interpretabilità: è un decoder-only. Non se ne sanno i numeri.
La conseguenza è semplice e la serie la dice dal pezzo sul Transformer: dei modelli che si usano ogni giorno, alcuni si possono aprire e altri no. Non è un giudizio di qualità - è una differenza di trasparenza, e chi legge una scheda deve saperla vedere.
Come leggere la scheda di un modello
La scheda dichiara famiglia, taglia, parametri attivi, finestra, tokenizzatore, licenza; il pezzo sulle evoluzioni ha aggiunto i tre livelli: architettura, motore, addestramento. La domanda da porsi davanti a ogni scheda è sempre: che cosa dichiara, e che cosa tace?
Il mestiere di leggere una scheda del modello ha una forma, e la serie ha messo sul tavolo tutti i pezzi per usarla. Si parte dalla famiglia: encoder, decoder o entrambi - per i modelli di linguaggio di oggi, quasi sempre decoder-only. Poi la taglia: i parametri totali e, se il modello è misto, gli attivi - i due numeri che il pezzo sulle evoluzioni ha insegnato a distinguere. Poi l’attenzione: a teste piene, GQA o MLA - la scelta che decide quanto costa la cache. Il tokenizzatore e il vocabolario - il pezzo dedicato ha mostrato come si leggono e quanto costano le lingue. La finestra di contesto - quanto il modello può tenere davanti, e quanto si paga per allungarla. E l’addestramento dichiarato - che il pezzo finale tratterà, perché è lì che si decide il carattere del modello.
A questi si aggiungono i tre livelli del bilancio del pezzo sulle evoluzioni: l’architettura che sta nei pesi, il motore che li esegue, l’addestramento che li produce. La scheda completa dichiara il primo livello e il terzo; il motore non sta nella scheda, perché lo sceglie chi fa girare il modello. Quella muta dichiara i numeri che vuole e tace sugli altri.
E la prova pratica della lettura sta nel confronto che questo pezzo ha fatto: la scheda di DeepSeek-V3 dichiara 671 totali e 37 attivi, la MLA, il tokenizzatore; la scheda di GPT-4 dichiara capacità e valutazioni. Entrambe sono schede di modelli eccellenti. La differenza non è nella qualità: è in quello che si può verificare. La serie ha aperto un modello piccolo perché è l’unico apribile per intero - e con questa griglia di lettura anche i grandi documentati si leggono fino in fondo.
Potete costruirla, la scheda: il widget qui sotto monta un modello - forma, natura densa o mista, taglie, attenzione, finestra - e fa il conto che la serie ha insegnato: memoria dei pesi, moltiplicazioni per token, cache di chiavi e valori, coi numeri dichiarati nei rapporti.
I concetti che questo articolo introduce
Quattro voci coprono le famiglie del Transformer e il documento che le dichiara.
| Concetto | Ambito | Che cos’è | Si lega a |
|---|---|---|---|
| Encoder-only | machine-learning | La forma del Transformer che legge senza generare: trasforma la sequenza in rappresentazioni; la forma di BERT | è una forma del blocco del Transformer; non usa la maschera causale; è il termine di confronto del decoder-only |
| Decoder-only | machine-learning | La forma del Transformer che genera: legge la sequenza e produce il prossimo token con la maschera causale; la forma di GPT, Claude, DeepSeek, Qwen e GLM | è la forma che la serie ha costruito; usa la maschera causale e la testa d’uscita; produce la rappresentazione contestuale |
| Encoder-decoder | machine-learning | La forma che legge e poi genera: il codificatore trasforma l’ingresso, il decodificatore produce l’uscita; la forma della traduzione e di T5 | combina encoder-only e decoder-only; nasce dalla traduzione del pezzo sull’attenzione |
| Scheda del modello | machine-learning | Il documento che accompagna un modello: dichiara famiglia, taglia, parametri attivi, finestra di contesto, tokenizzatore e licenza - e a volte tace sull’architettura | riunisce i dati di miscela di esperti, attenzioni raggruppate e vocabolario, e dichiara la finestra di contesto; la sua trasparenza distingue i modelli documentati da quelli muti |
Fonti
Le affermazioni portanti vengono dai paper e dai rapporti citati, letti per questo pezzo; i rapporti di DeepSeek, Qwen e GLM sono già in Fonti dei pezzi precedenti.
- Improve and Manage,
serie-machine-learning,
GitHub, 2026 - il repository dei widget della serie: qui sta «Costruisci
la scheda» di questo pezzo (cartella
architetture/), insieme ai widget di tutti gli altri pezzi della serie. - Ashish Vaswani e colleghi, Attention Is All You Need, NeurIPS 2017, primaria aperta e letta (già in Fonti dei pezzi sull’attenzione e sul Transformer) - l’architettura encoder-decoder del Transformer, dalla quale le tre forme derivano.
- Jacob Devlin, Ming-Wei Chang, Kenton Lee e Kristina Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, NAACL 2019, primaria aperta, letto l’abstract - la forma encoder-only, addestrata a leggere in entrambe le direzioni.
- Tom Brown e colleghi, Language Models are Few-Shot Learners, NeurIPS 2020, primaria aperta, letta la parte sull’architettura - GPT-3: il modello denso da 175 miliardi di parametri e la forma decoder-only.
- Colin Raffel e colleghi, Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, JMLR 2020, primaria aperta, letto l’abstract - T5: la forma encoder-decoder riportata al testo.
- Aohan Zeng e colleghi, ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools, 2024, primaria aperta, letto l’abstract - la famiglia GLM, da GLM-130B a GLM-4 All Tools.
- DeepSeek-AI, DeepSeek-V3 Technical Report, 2024, primaria aperta e letta (già in Fonti del pezzo sulle evoluzioni) - 671 miliardi totali, 37 attivi, MLA.
- Qwen Team (Alibaba), Qwen3 Technical Report, 2025, primaria aperta e letta (già in Fonti del pezzo sulle evoluzioni) - versioni dense e MoE, GQA, 119 lingue.
- OpenAI, GPT-4 Technical Report, 2023, aperto, letto - il caso della scheda che dichiara capacità e valutazioni senza architettura né taglia: il rapporto stesso dichiara di non fornire «ulteriori dettagli su architettura (compresa la dimensione del modello), hardware, calcolo di addestramento, dati o metodo».
- Katharine Sanderson, GPT-4 is here: what scientists think (Nature news, 16 marzo 2023), letta - le critiche pubbliche alla chiusura del rapporto: per Sasha Luccioni i modelli chiusi sono «vicoli ciechi per la scienza», perché senza i dati non si possono né verificare né migliorare.
- Lightning AI CEO slams OpenAI’s GPT-4 paper as ‘masquerading as research’ (VentureBeat, marzo 2023), di seconda mano: la pagina non era raggiungibile alla verifica e le parole di William Falcon vengono dai risultati di ricerca. È la critica da cui viene la formula «di un rapporto di ricerca ha solo il nome».
- Anthropic, pubblicazioni di ricerca, fonti pubbliche - le system card e la ricerca di interpretabilità come uniche fonti pubbliche su Claude: mostrano come appare, non come è addestrato.