Machine learning3 novembre 2026di Fabio Malpezzi

Un modello 660 volte più piccolo ha davvero battuto gli LLM?

109 milioni di parametri contro 72 miliardi. Presi da soli, i due numeri raccontano una storia irresistibile: un modello 660 volte più piccolo avrebbe sconfitto uno dei grandi modelli linguistici. Il risultato pubblicato da Randall Balestriero e Yann LeCun alla fine di ottobre 2026 è interessante, ma la gara non era quella suggerita dal titolo.

Il piccolo modello non ha scritto un testo migliore, risposto a più domande o risolto problemi più difficili. Ha organizzato alcune frasi in modo più simile a come un altro modello organizza le immagini. Le frasi considerate vicine, in altre parole, corrispondevano più spesso a fotografie che anche l’encoder visivo considerava vicine.

La distinzione sembra ridimensionare la notizia. In realtà conduce a una questione più profonda. Per costruire una rappresentazione utile non conta soltanto quanto è grande una rete o quanti esempi riceve. Conta quali esempi l’addestramento le chiede di considerare vicini. Due didascalie della stessa fotografia insegnano una relazione; due parti dello stesso documento ne insegnano un’altra. Secondo il paper, quella scelta può cambiare la geometria che il modello apprende, la quantità di dati necessaria e perfino la possibilità di collegare componenti che non sono mai stati addestrati insieme.

La gara riguardava la forma delle rappresentazioni

Il modello piccolo supera i due LLM soltanto in una misura di compatibilità con un encoder visivo.

Il preprint di Balestriero e LeCun confronta le rappresentazioni prodotte da modelli diversi. Una rappresentazione è l’insieme di numeri con cui una rete descrive internamente un testo, un’immagine o un altro oggetto. Ogni modello può usare coordinate proprie; ciò che interessa agli autori è se conserva relazioni simili.

Immaginiamo tre fotografie: un cane che corre sulla spiaggia, un bambino che lancia una palla e un’automobile in una strada innevata. Un encoder visivo potrebbe collocare le prime due più vicine perché contengono un’azione all’aperto, lasciando la terza più lontana. Un encoder testuale potrebbe fare lo stesso con le rispettive descrizioni. I numeri interni dei due encoder sarebbero diversi, ma la disposizione relativa degli esempi avrebbe una forma simile.

Gli autori stimano questa somiglianza controllando quanti vicini coincidano nei due spazi. Nel protocollo WIT-1024, la loro JEPA testuale da 109 milioni di parametri raggiunge un valore di mutual 10-NN pari a 0,184 rispetto all’encoder visivo DINOv2-B. Nello stesso confronto Qwen2.5-72B ottiene 0,154 e Llama-3-70B 0,151.

Il rapporto di 660 volte riguarda il numero dei parametri di Qwen e della JEPA. Non trasforma lo scarto fra 0,184 e 0,154 in una vittoria generale. Misura quanto le due rappresentazioni concordino sui vicini, non la conoscenza accumulata dal modello, la qualità della scrittura o la capacità di ragionare.

La metrica chiarisce che cosa sia accaduto, ma non perché. Per spiegare la differenza bisogna guardare a monte del risultato e chiedersi quali relazioni i modelli abbiano incontrato durante l’addestramento.

Ogni coppia dice al modello che cosa deve conservare

Una coppia positiva stabilisce quali osservazioni devono ricevere rappresentazioni vicine.

Una Joint-Embedding Predictive Architecture, o JEPA, riceve due osservazioni collegate e impara ad avvicinarne le rappresentazioni. Le due osservazioni formano una coppia positiva. «Positiva» non significa corretta, vera o desiderabile: significa soltanto che l’obiettivo di addestramento le tratta come due viste di qualcosa che hanno in comune.

Consideriamo due descrizioni della stessa fotografia: «Un bambino con una maglia rossa prende al volo un frisbee» e «Un ragazzo salta sull’erba per afferrare un disco».

Le frasi non condividono quasi nessuna parola importante, ma descrivono la stessa scena. Per avvicinarle, il modello deve trascurare parte della formulazione e conservare il bambino, il salto, l’oggetto in volo e le relazioni fra questi elementi. Il paper chiama favorevoli all’allineamento fra modalità due viste di questo tipo: sono osservazioni indipendenti dello stesso stato del mondo.

Ora prendiamo due parti dello stesso documento. Condivideranno probabilmente il lessico, i nomi, il tono e la sequenza del discorso. Questi indizi sono preziosi se il compito consiste nel ricostruire il testo. Una fotografia della scena, però, non contiene lo stile dell’autore né la parola scelta nella frase precedente. Per l’allineamento con le immagini, parti della stessa osservazione sono quindi viste sfavorevoli: rendono conveniente conservare caratteristiche specifiche della modalità testuale.

La distinzione non assegna un voto assoluto ai due obiettivi. Dimenticare lo stile può aiutare a collegare una descrizione alla fotografia; ricordarlo può servire a completare una frase con precisione. La domanda è quale informazione venga premiata dal compito.

Questo confronto permette agli autori di rileggere anche l’obiettivo dei chatbot nello stesso linguaggio. Il prefisso di un testo e la parola successiva sono due parti della medesima osservazione. La previsione del prossimo token insegna al modello a usare ogni indizio che renda la continuazione più prevedibile, comprese le particolarità del documento. È un ottimo addestramento per generare linguaggio; non nasce per riprodurre la geometria di un encoder visivo.

Le singole coppie spiegano l’intuizione. Il teorema del paper prova a descrivere l’effetto della loro distribuzione complessiva.

Dalle coppie nasce una geometria

Se due modalità collegano gli stessi stati nello stesso modo, possono imparare la stessa geometria a meno di una rotazione.

Immaginiamo gli stati del mondo come punti. Ogni volta che l’addestramento forma una coppia positiva, crea un collegamento fra due osservazioni che dipendono da uno di quegli stati. La frequenza complessiva dei collegamenti forma ciò che il paper chiama kernel indotto dalle viste. Il nome è tecnico; l’idea è una rete che registra quali stati l’addestramento tende ad avvicinare e con quale frequenza.

Due encoder possono vedere dati molto diversi, per esempio immagini e testi. Se le loro coppie inducono lo stesso kernel, nel modello teorico degli autori imparano la stessa geometria, purché la soluzione sia unica. Le coordinate non devono coincidere. Uno spazio può essere una versione ruotata dell’altro, come due copie della stessa carta geografica appoggiate sul tavolo con orientamenti diversi. Cambiano le direzioni del foglio, non le distanze fra le città.

Il paper affronta anche il caso meno perfetto. Quando i kernel sono diversi, un secondo risultato collega il disallineamento alla loro differenza. La compatibilità non compare quindi perché tutti i modelli abbastanza grandi sarebbero destinati a scoprire spontaneamente la stessa realtà. Compare, entro le condizioni del teorema, quando gli addestramenti costruiscono una rete simile di equivalenze.

Quelle condizioni sono impegnative. Il modello matematico assume un insieme finito di stati, osservazioni che non perdono informazione e soluzioni calcolate sulla distribuzione completa dei dati. Gli stessi autori precisano che gli esperimenti non soddisfano esattamente tutte le ipotesi. Il teorema offre una condizione sufficiente in un caso ideale; non garantisce una rappresentazione universale per qualunque rete e qualunque addestramento.

Resta allora da capire se il meccanismo sia riconoscibile anche fuori dal caso ideale. Un confronto fra modelli già esistenti non basterebbe: cambierebbero insieme architettura, dati e ricetta. L’esperimento più istruttivo del paper mantiene invece fissi i testi e cambia le coppie.

Su Flickr la differenza è nel modo di accoppiare i testi

Con gli stessi testi e la stessa famiglia di encoder, le descrizioni della medesima fotografia producono più allineamento visivo.

Flickr30k associa a ogni fotografia più descrizioni. Questo permette di costruire due addestramenti a partire dal medesimo materiale. Nel primo, la coppia contiene due didascalie della stessa immagine. Nel secondo, contiene parti mascherate della stessa didascalia. Il confronto comprende anche la previsione del prossimo token.

La JEPA che accoppia due descrizioni della stessa fotografia risulta più allineata con l’encoder visivo. Il risultato non si limita dunque a mettere un modello piccolo contro LLM addestrati altrove. Quando testi e famiglia dell’encoder restano uguali, cambiare la relazione fra gli esempi cambia la geometria appresa.

La differenza emerge anche nella quantità di dati necessaria. Sul corpus degli autori, la JEPA con viste favorevoli raggiunge un allineamento di circa 0,109 dopo 21,6 milioni di esempi. La previsione del prossimo token arriva a un valore simile, circa 0,111, dopo 900 milioni. Sono circa 42 volte gli esempi, 14 volte i token e 435 volte le immagini uniche.

Questi rapporti riguardano l’efficienza nel raggiungere quel livello di allineamento visivo. Non dicono che 21,6 milioni di esempi producano le capacità linguistiche di un modello addestrato su 900 milioni. Non garantiscono neppure che il rapporto rimanga uguale con altre lingue, architetture e ricette. Gli autori ricavano una legge empirica che collega scala, quota di viste favorevoli e allineamento; è una regolarità osservata negli addestramenti eseguiti, non una conseguenza universale del teorema.

Fin qui la geometria appare sotto forma di un punteggio. La prova diventa più concreta quando si tenta di far lavorare insieme un encoder visivo e un componente addestrato soltanto sulle rappresentazioni testuali.

Una rotazione permette a componenti separati di comunicare

prh-proof rende operativo l’allineamento collegando un encoder visivo a un decoder addestrato sul testo.

Nel repository degli autori prh-proof, un decoder impara a ricostruire testo dalle rappresentazioni di un encoder testuale. L’encoder visivo produce vettori in coordinate diverse. Se i due spazi conservano una geometria compatibile, una trasformazione ortogonale può ruotare le rappresentazioni visive verso le coordinate attese dal decoder.

La sequenza diventa così: fotografia, encoder visivo, rotazione, decoder testuale. Le didascalie prodotte sono imperfette, ma il passaggio mostra qualcosa che il solo punteggio non mostrava. Componenti addestrati separatamente riescono a scambiarsi rappresentazioni senza un nuovo addestramento congiunto dell’intera catena.

Per stimare la rotazione si possono usare alcune corrispondenze fra immagini e testi. Il paper riporta anche un allineamento finale basato sulla struttura di insiemi non accoppiati. «Senza coppie» riguarda questo passaggio finale, non l’intero addestramento: le relazioni fra coppie positive hanno già contribuito a costruire le rappresentazioni. Il metodo proviene da un lavoro precedente e il risultato rimane, per ora, attribuito agli autori.

Il repository contiene anche test dei risultati teorici e il codice degli esperimenti. La scala dei costi impedisce di confondere disponibilità del codice e riproduzione completa: gli autori stimano pochi minuti su CPU per i test teorici, circa due ore su una GPU per il confronto Flickr e circa 5.500 ore di GPU per rifare tutte le 345 esecuzioni registrate. Possiamo esaminare la dimostrazione, il protocollo e i risultati; non possiamo dichiarare riprodotto l’intero lavoro.

La rotazione mostra come far comunicare due componenti. Una rappresentazione predittiva può però avere un compito ulteriore: non soltanto descrivere ciò che il sistema vede, ma anticipare gli effetti di ciò che potrebbe fare.

In Two Rooms la previsione serve a scegliere un’azione

eb_jepa mostra una rappresentazione predittiva inserita in un piccolo sistema di pianificazione.

Il repository di Meta FAIR eb_jepa raccoglie esempi di JEPA per immagini, video e video condizionato dalle azioni. Nel piccolo ambiente Two Rooms, un agente deve raggiungere un obiettivo attraversando due stanze collegate da un passaggio.

Un modello generativo potrebbe provare a ricostruire ogni futuro fotogramma: colore delle pareti, posizione esatta degli oggetti, dettagli che restano irrilevanti per trovare la porta. La JEPA dell’esempio prevede invece come cambierà la rappresentazione dello stato dopo una sequenza di azioni. Il pianificatore confronta più sequenze nello spazio appreso e sceglie quella che porta lo stato previsto più vicino all’obiettivo.

eb_jepa chiarisce perché una rappresentazione predittiva possa essere utile per agire. Non verifica il teorema di Balestriero e LeCun, né dimostra che la geometria di Two Rooms coincida con quella condivisa da testi e immagini. I due repository hanno ruoli diversi: prh-proof appartiene direttamente al paper e mette alla prova la comunicazione fra spazi; eb_jepa mostra una conseguenza progettuale in un altro sistema.

Le dimostrazioni rendono l’idea più concreta, ma aumentano anche il rischio di generalizzarla troppo. Prima di trasformare il risultato in una nuova teoria dell’intelligenza occorre tornare ai dati e alla ricetta che lo hanno prodotto.

Il vantaggio non dipende necessariamente soltanto dalle coppie

Dati, regolazione dell’addestramento e metrica possono contribuire al risultato osservato.

La scelta delle coppie è la spiegazione sostenuta dal teorema e dal controllo su Flickr. Non è però l’unica differenza presente negli esperimenti più grandi. Nel corpus Recap-DataComp, due dei tre testi associati a ogni immagine sono prodotti da LLaVA, un sistema multimodale che usa anche un encoder visivo. Il raggruppamento per fotografia e la generazione delle didascalie introducono supervisione semantica che un corpus soltanto testuale non possiede nella stessa forma.

Anche la regolazione dell’addestramento merita cautela. Gli autori dichiarano di avere scelto i parametri soprattutto per la JEPA con viste favorevoli, non di aver dedicato la stessa ricerca alle alternative. Un confronto indipendente dovrebbe concedere a ciascun obiettivo una regolazione adeguata.

Infine, la metrica premia proprio la compatibilità con un encoder visivo. Eliminare le particolarità della formulazione può aiutare in quel confronto, mentre le stesse particolarità servono per ricostruire una citazione, riconoscere uno stile o prevedere la parola successiva. Una rappresentazione più adatta a collegare modalità non è automaticamente migliore per ogni compito.

Il risultato più solido rimane circoscritto ai protocolli osservati: le coppie costruite con descrizioni della stessa scena producono rappresentazioni testuali più compatibili con quelle visive e raggiungono un allineamento simile con meno esempi. Il preprint è recente, gli esperimenti non realizzano esattamente le condizioni del teorema e manca ancora una replica indipendente.

Il piccolo modello non ha vinto la gara che usiamo ogni giorno

La scala accumula capacità; l’obiettivo determina anche quali relazioni la rappresentazione conserva più facilmente.

Il modello da 109 milioni di parametri non ha battuto gli LLM come assistente. Ha superato due modelli molto più grandi in una misura di compatibilità con un encoder visivo. Tolta la formula virale, il risultato conserva una conseguenza importante: aumentare la scala e cambiare l’obiettivo di addestramento non sono due strade equivalenti verso la stessa rappresentazione.

Le coppie positive stabiliscono quali osservazioni devono avvicinarsi. La loro distribuzione forma il kernel delle viste. Entro le condizioni del teorema, kernel uguali producono geometrie compatibili; una rotazione può allora collegarne le coordinate. L’esperimento Flickr osserva l’effetto quando cambiano le coppie, prh-proof mostra la composizione fra componenti separati ed eb_jepa rende visibile l’uso di una rappresentazione predittiva per pianificare.

Questa catena arriva fino all’utilità della geometria, non alla spiegazione del suo uso dentro la rete. Una disposizione regolare degli esempi non indica quale neurone conservi un concetto, quale circuito lo porti all’uscita o che cosa succeda modificandolo. Il secondo articolo, «Possiamo spegnere un concetto dentro una rete neurale?», parte esattamente da questo limite: passa dalla forma delle rappresentazioni alla prova causale del loro ruolo nel comportamento.

I concetti introdotti nell’articolo

Le definizioni distinguono la scelta compiuta nell’addestramento dalla geometria che ne deriva.

Concetto	Descrizione	Relazione
Coppia positiva	Due osservazioni che l’obiettivo di addestramento deve rappresentare come vicine	Induce i collegamenti del kernel delle viste
Vista favorevole	Osservazione indipendente dello stesso stato o della stessa scena	Riduce le particolarità della singola modalità che la coppia condivide
Vista sfavorevole all’allineamento	Parte o trasformazione della stessa osservazione	Può conservare formulazione, punto di vista o altri dettagli propri della modalità
Kernel delle viste	Distribuzione dei collegamenti fra gli stati prodotta dalle coppie positive	Determina la soluzione geometrica nel modello teorico
Rappresentazione condivisa	Geometria compatibile appresa da encoder separati	Consente l’allineamento fra rappresentazioni
Allineamento fra rappresentazioni	Corrispondenza fra gli spazi prodotti da encoder diversi	Può essere stimato mediante una rotazione ortogonale
Rotazione ortogonale	Trasformazione che cambia l’orientamento delle coordinate e conserva distanze e angoli	Collega due rappresentazioni con la stessa geometria
JEPA	Architettura che avvicina le rappresentazioni di coppie positive senza farle diventare tutte uguali	Apprende dal kernel indotto dalle viste

Fonti

Le cifre sperimentali provengono dal preprint degli autori e non hanno ancora una replica indipendente.

Randall Balestriero e Yann LeCun, Proving and Improving the Platonic Representation Hypothesis with JEPAs, arXiv 2610.39302v1, 29 ottobre 2026. Fonte del teorema, dei protocolli sperimentali, dei confronti numerici e dei limiti dichiarati.
Balestriero e LeCun, repository prh-proof, commit a2b9949fa907, 30 ottobre 2026. Codice, test, registro delle esecuzioni e dimostrazione di generazione delle didascalie; il repository è degli autori del paper e non costituisce una replica indipendente.
Meta FAIR, repository eb_jepa, commit 966e61e9285b, 4 febbraio 2026. Esempi didattici di JEPA per immagini, video e pianificazione condizionata dalle azioni; Two Rooms mostra un’applicazione e non verifica il teorema del preprint.
Improve and Manage, codice dei tre widget, commit b8ea916ce0b5, 3 novembre 2026. Ricostruzioni didattiche con dati sintetici, pubblicate per rendere verificabili figure, interazioni e limiti dichiarati nell’articolo.