Possiamo spegnere un concetto dentro una rete neurale?

Il modello deve completare questa frase: «Il numero di zampe dell’animale che tesse ragnatele è». La parola ragno non compare nella domanda e non farà parte della risposta. Eppure, mentre elabora la frase, una nuova tecnica di interpretabilità la trova negli strati intermedi della rete.

Fin qui potremmo avere soltanto una coincidenza suggestiva. Poi i ricercatori sostituiscono la rappresentazione interna di ragno con quella di formica. La risposta più probabile cambia da 8 a 6. Il modello non ha ricevuto una nuova domanda e nessuno gli ha suggerito il numero sei: è cambiato il concetto usato nel passaggio intermedio.

L’esperimento appartiene a un lavoro pubblicato da Anthropic nel luglio 2026 sul cosiddetto J-space. È una delle dimostrazioni più immediate di ciò che oggi possiamo fare dentro una rete linguistica: individuare un contenuto prima che venga pronunciato, modificarlo e osservare l’effetto sull’uscita.

Non significa che abbiamo trovato il «neurone del ragno» o letto il pensiero di una macchina. La rappresentazione coinvolta è una direzione costruita matematicamente attraverso molti contesti, non un interruttore fisico isolato. Il risultato è comunque più forte di una semplice visualizzazione. Per capire quanto più forte, bisogna separare tre operazioni che nel racconto della scatola nera vengono spesso confuse: leggere, attribuire e intervenire.

Una geometria regolare non spiega ancora il calcolo

Il primo articolo mostrava come può nascere una rappresentazione condivisa; questo chiede come provarne l’uso dentro una rete.

Nel primo articolo di questa serie abbiamo visto che l’obiettivo di addestramento può dare una forma regolare alle rappresentazioni. Se due modelli imparano a conservare relazioni compatibili, i loro spazi possono risultare allineabili anche quando usano coordinate diverse. Quella geometria permette di confrontare encoder e, in alcuni casi, collegare componenti addestrati separatamente.

La mappa mostra la disposizione. Il traffico resta invisibile. Sapere che ragno, formica e ape occupano posizioni sensate in uno spazio non indica quale contenuto sia attivo durante una risposta, quali componenti lo abbiano prodotto o se il modello ne abbia davvero bisogno. Passare dalla forma delle rappresentazioni alla funzione dei circuiti equivale a passare dalla carta di una città al percorso compiuto da una persona.

È il cambio di scala che collega i due articoli. Il primo osservava le relazioni fra molti esempi e fra modelli diversi. Qui seguiamo un singolo calcolo dentro un modello già addestrato. La parola «struttura» cambia quindi riferimento: prima descriveva una geometria; ora descrive una catena funzionale che dovrebbe contribuire a un comportamento.

Lettura, attribuzione e intervento: tre gradi della prova

Una lettura propone un contenuto, un’attribuzione propone un percorso, un intervento mette alla prova una relazione causale locale.

La lettura associa un significato comprensibile a un’attivazione interna. Se una lente mostra ragno negli strati centrali, possiamo formulare l’ipotesi che quel contenuto sia presente. La lettura dipende però dallo strumento: un microscopio diverso potrebbe separare o riunire caratteristiche diverse.

L’attribuzione stima quali componenti abbiano contribuito a un’uscita. Un grafo può per esempio suggerire la catena Dallas -> Texas -> capitale -> Austin. È già più informativo di una lista di attivazioni, perché propone relazioni fra i passaggi. Resta una ricostruzione selettiva: soglie, approssimazioni e componenti non spiegate possono lasciare fuori una parte importante del calcolo.

L’intervento modifica la componente sospettata e lascia proseguire il modello. Se togliere Texas devia la risposta e togliere un nodo irrilevante non lo fa, l’ipotesi guadagna forza. L’effetto sostiene una relazione causale in quel modello, su quel prompt e con quel tipo di manipolazione. Non certifica che la nostra etichetta esaurisca il significato della componente, né che il circuito sia l’unico percorso possibile.

Questa scala impedisce due errori opposti. Una bella mappa non diventa automaticamente una spiegazione; un intervento riuscito non apre automaticamente l’intera rete. Con questa misura possiamo guardare alla Jacobian lens e chiederci con precisione che cosa renda visibile.

La Jacobian lens rende leggibili le attivazioni intermedie attraverso il vocabolario del modello

La lente cerca rappresentazioni interne già disponibili per una possibile verbalizzazione.

Un trasformatore modifica più volte la rappresentazione di ogni posizione del testo. Le coordinate utili in uno strato iniziale non coincidono necessariamente con quelle dell’ultimo strato, quello dal quale viene scelta la parola successiva. Applicare direttamente il vocabolario finale alle attivazioni intermedie, come fa la logit lens, funziona abbastanza bene vicino all’uscita e perde affidabilità andando indietro.

La Jacobian lens corregge questo spostamento. Per ogni strato stima, su molti contesti, come una piccola variazione dell’attivazione influenzi la probabilità futura dei token. Trasporta così l’attivazione intermedia verso le coordinate dell’uscita e la rende leggibile attraverso parole del vocabolario.

Nel notebook pubblico jacobian-lens il risultato assume la forma di una griglia. Le colonne seguono le posizioni del prompt, le righe gli strati; ogni cella mostra il token che la lente associa con più forza all’attivazione. Il lettore può seguire un contenuto mentre emerge, persiste e infine lascia posto alle parole necessarie per produrre l’uscita.

Gli autori chiamano J-space l’insieme ristretto di rappresentazioni individuate in questo modo. Rappresenta soltanto una parte di ciò che il modello sa o calcola. Nei loro esperimenti il contributo del J-space non supera il 10 per cento della varianza delle attivazioni e, nella fascia di strati in cui opera come spazio di lavoro, comprende tipicamente decine di direzioni attive. Una grande parte della sintassi, della contabilità interna e delle operazioni automatiche rimane fuori.

Quella piccola parte sembra però avere un ruolo privilegiato. I contenuti possono essere richiamati da un’istruzione, riutilizzati in compiti diversi e impiegati nei passaggi intermedi di un ragionamento. Quando i ricercatori rimuovono le direzioni principali del J-space, molte previsioni ordinarie restano plausibili, mentre una prova controllata di ragionamento a due passaggi crolla quasi a zero con l’ablazione più forte.

L’esperimento del ragno compie un controllo ancora più mirato. La lente trova il concetto intermedio; lo scambio con formica cambia la risposta attesa. Gli autori controllano anche un’alternativa importante: forse la direzione di ragno contiene già, per correlazione, quella di otto. Lo scambio del concetto produce invece il proprio effetto mediamente prima dello scambio diretto della risposta, coerentemente con un passaggio intermedio usato dal calcolo.

La prova unisce lettura e intervento, ma conserva un confine. La lente privilegia concetti esprimibili attraverso token, soprattutto singoli; non mostra bene relazioni complesse, ruoli grammaticali interni o contenuti senza un nome compatto. Una lettura con le parole del modello può essere una finestra preziosa senza essere una radiografia completa.

La parte che rimane fuori riapre una domanda più antica. Qual è l’unità giusta da osservare? Una direzione costruita dalla lente, una caratteristica appresa da un secondo modello o i neuroni nativi della rete?

L’ipotesi di Cammarata: alcuni neuroni potrebbero essere già leggibili

La tesi di Cammarata cambia l’ipotesi di lavoro, non ancora lo stato delle prove.

Per anni molta interpretabilità meccanicistica ha preso sul serio la sovrapposizione: quando le caratteristiche utili superano le dimensioni disponibili, una rete può rappresentare più concetti lungo direzioni non ortogonali. Un singolo neurone finisce allora per attivarsi in contesti apparentemente estranei. Per separare quelle caratteristiche si addestra spesso un secondo sistema, per esempio un autoencoder sparso.

Nell’ottobre 2026 Nick Cammarata ha proposto una rilettura più ottimista. Nel saggio Neural Networks Are Already Clean sostiene che una parte della polisemia attribuita alla sovrapposizione potrebbe derivare da strumenti deboli, problemi delle vecchie architetture e generalizzazione ricorsiva. Un neurone non mescolerebbe necessariamente compiti arbitrari: potrebbe estendere un motivo lungo ramificazioni successive. L’esempio più compatto segue una caratteristica da iy a DIY e poi al concetto do it yourself, dove la sequenza iniziale non compare più.

Se questa lettura reggesse, studiare direttamente neuroni e circuiti nativi potrebbe essere più fruttuoso di quanto si pensasse. Una rete più piccola non comprimerebbe sempre concetti indipendenti in un groviglio: potrebbe usare categorie più ampie, che acquistano risoluzione quando cresce la capacità. La differenza conta anche per la progettazione. Un’organizzazione con un principio riconoscibile permetterebbe di formulare modifiche più mirate e ridurre una parte degli esperimenti alla cieca.

Oggi il condizionale è indispensabile. Il testo si definisce una working hypothesis. Le percentuali di neuroni ritenuti leggibili dipendono da soglie, profondità, attivazioni deboli e da che cosa l’analista consideri «un solo compito». Al 3 novembre il companion paper promesso per i modelli più grandi non è ancora disponibile. L’ipotesi indica dove guardare e quali controlli eseguire; non autorizza a dichiarare risolto il problema della scatola nera.

Il criterio utile, del resto, è lo stesso applicato al ragno. Un’etichetta convincente è l’inizio. Bisogna poi seguire che cosa alimenta l’unità, dove invia il proprio contributo e che cosa accade quando la si modifica. È proprio questo il tipo di percorso che i grafi di attribuzione cercano di rendere navigabile.

Un grafo trasforma le attivazioni in un’ipotesi di circuito

circuit-tracer propone un percorso verso l’uscita; i nodi di errore ricordano quanto resta fuori.

Il progetto open source circuit-tracer sostituisce i blocchi MLP del modello con transcodificatori. Sono componenti addestrati per approssimare gli stessi calcoli attraverso caratteristiche più facili da separare. Lo strumento stima poi quanto token, caratteristiche e termini di errore contribuiscano gli uni agli altri fino alla parola successiva.

Il risultato è un grafo di attribuzione. Le colonne seguono i token del prompt, le righe gli strati. Selezionando un nodo si vedono i contributi in ingresso e in uscita; più caratteristiche possono essere riunite in un supernodo al quale l’analista assegna un’etichetta. Il grafo non arriva quindi già spiegato. Offre il materiale con cui costruire un’ipotesi controllabile.

L’interfaccia pubblica di Neuronpedia consente di farlo senza installare il codice né possedere una GPU. Nel caso didattico documentato, il prompt è «La capitale dello stato che contiene Dallas è». Gemma 2 2B prevede Austin. Nel sottografo scelto dall’analista compare una catena leggibile:

Dallas -> Texas -> capitale -> Austin

La sequenza è plausibile, ma la plausibilità non basta. Il sottografo è una selezione del grafo potato e il grafo stesso approssima il modello. Neuronpedia mostra per questo due indicatori: il replacement score stima la quota di comportamento spiegata dalle caratteristiche invece che dai nodi di errore; il completeness score indica la quota degli ingressi dei nodi coperta dalle caratteristiche visibili.

Questi numeri rendono visibile il debito della spiegazione, senza trasformare il disegno in una prova. Per ridurlo serve tornare al modello e perturbare il passaggio che il grafo ritiene importante.

Se togliamo Texas, la capitale si sposta

Lo steering controlla l’ipotesi del grafo, ma il suo esito resta locale alla manipolazione eseguita.

Neuronpedia permette di aumentare o ridurre l’intensità di una caratteristica direttamente dal sottografo. Nel caso Dallas, ridurre il supernodo etichettato capitale porta il modello a completare con Texas. La relazione fra città e stato rimane, mentre scompare il passaggio che chiedeva la capitale. Ridurre Texas produce invece Albany, la capitale di New York: il modello conserva l’operazione «capitale di uno stato», ma non lo stato corretto.

I due cambiamenti sono coerenti con le funzioni assegnate ai supernodi. Costituiscono quindi evidenza causale a favore dell’ipotesi: quei gruppi di caratteristiche partecipano al passaggio che l’etichetta descrive. La stessa documentazione di Neuronpedia precisa però che non provano la correttezza completa del circuito.

Tre limiti impediscono di estendere la conclusione all’intera rete:

• La perturbazione. Lo steering aggiunge o sottrae una direzione alle attivazioni e può spostare il modello fuori dal regime abituale; non equivale allo spegnimento pulito di un componente elettronico.
• L’unità osservata. I nodi sono caratteristiche dei transcodificatori, non necessariamente neuroni nativi come quelli studiati da Cammarata.
• La parte esclusa. Soglie e potatura lasciano fuori percorsi alternativi e contributi non interpretati.

L’esperimento resta prezioso proprio perché non ha bisogno di diventare una teoria totale. Mostra una relazione circoscritta: dato questo prompt, questa approssimazione e questa perturbazione, cambiare un passaggio produce un effetto previsto. È una conoscenza più forte di una correlazione osservata e più debole di una spiegazione esaustiva. Chiamarla «prova causale locale» conserva entrambe le parti.

L’interpretabilità diventa utile quando può anche sbagliare

Un segnale interno vale come strumento operativo soltanto se conosciamo i casi nei quali non si trasferisce.

Guardare dentro il modello non serve soltanto a produrre illustrazioni. Il repository indipendente solarkyle/jspace usa letture del J-space per tentare di anticipare risposte errate. Su alcune famiglie di domande, i segnali interni migliorano la previsione dell’errore rispetto alla sola confidenza dichiarata dal modello. Su altre, il vantaggio non si trasferisce.

Il risultato negativo è importante quanto quello positivo. Impedisce di trasformare il J-space in un rilevatore universale dell’affidabilità e mostra che una lettura interna può dipendere dal compito quanto una metrica sull’uscita. Un sistema di monitoraggio dovrebbe quindi essere validato sui comportamenti che pretende di sorvegliare, con casi contrari e controlli fuori distribuzione.

La stessa disciplina vale per gli interventi. Prima di correggere una caratteristica bisogna verificare se l’etichetta regge in contesti diversi, se esistono percorsi compensativi e se la modifica danneggia capacità non considerate. L’interpretabilità diventa uno strumento di ingegneria quando consente di formulare esperimenti migliori, non quando sostituisce gli esperimenti con una storia convincente.

Meno tentativi alla cieca resta una promessa da verificare

Mappe causali più affidabili potrebbero guidare lo sviluppo; oggi sappiamo farlo soltanto su porzioni limitate del comportamento.

Se una rete possedesse componenti stabili, leggibili e causalmente controllabili, cambierebbe il modo di svilupparla. Potremmo monitorare un concetto durante l’esecuzione, localizzare un percorso difettoso, intervenire su una parte ristretta e prevedere meglio gli effetti prima di riaddestrare tutto il sistema. È la conseguenza più interessante evocata anche nel finale del video di Pourya Kordi: meno esperimenti ciechi, correzioni più mirate, sviluppo più certo e affidabile.

Le prove raccolte fin qui mostrano soltanto gli ingredienti della procedura. Il J-space offre un formato verbalizzabile che il modello sembra usare in alcuni ragionamenti. Gli scambi di coordinate e le ablazioni dimostrano effetti causali mirati. circuit-tracer rende navigabili ipotesi su catene più lunghe e permette di perturbarne i nodi. L’ipotesi di Cammarata suggerisce che anche i neuroni nativi potrebbero avere un’organizzazione più leggibile del previsto.

Questi strumenti non osservano la stessa unità. Il J-space è un insieme di direzioni associate alla possibile verbalizzazione; i neuroni sono unità dell’architettura; le caratteristiche dei transcodificatori appartengono a un modello ausiliario che approssima i blocchi originali. Un successo ottenuto con uno non si trasferisce automaticamente agli altri.

Manca inoltre il confronto che collegherebbe davvero questo articolo al precedente. Nessuna fonte acquisita dimostra che una JEPA, un modello autoregressivo e un sistema ibrido di dimensioni comparabili sviluppino circuiti diversamente leggibili. Per stabilirlo bisognerebbe applicare lenti e interventi omogenei, controllare dati e scala e misurare insieme prestazione, completezza delle spiegazioni e stabilità causale. È un programma di ricerca, non un esperimento da allegare a un articolo divulgativo.

Possiamo spegnere un concetto, ma non basta trovare un interruttore

La domanda utile non è se la scatola nera sia diventata trasparente, ma quale ipotesi possiamo mettere alla prova.

Nel caso del ragno, la risposta breve al titolo è sì: i ricercatori hanno sostituito una rappresentazione intermedia e ottenuto il cambiamento previsto. Nel caso Dallas hanno ridotto gruppi di caratteristiche e osservato completamenti coerenti con il percorso attribuito. Sono interventi causali: mostrano più di una somiglianza nei dati.

La risposta completa è più prudente. Non tutti i concetti corrispondono a una direzione verbalizzabile. Un grafo di attribuzione conserva soltanto una parte del calcolo. Una perturbazione può avere effetti collaterali, e una spiegazione valida su un prompt può fallire altrove. «Spegnere un concetto» è quindi una buona immagine per un test locale, non il manuale generale della rete.

La serie arriva così a una distinzione netta. L’addestramento sceglie quali relazioni una rappresentazione debba conservare; una lente suggerisce quali contenuti siano attivi; l’attribuzione propone il percorso che li collega all’uscita; l’intervento controlla se quel percorso conta davvero. A ogni passaggio la spiegazione acquista forza e perde generalità.

Rimane aperta la domanda più interessante: obiettivi di addestramento diversi producono soltanto geometrie diverse, oppure anche organizzazioni interne più facili da leggere e controllare? Oggi non lo sappiamo. Ora, però, abbiamo strumenti con cui trasformare la domanda in esperimenti verificabili.

I concetti che questo articolo introduce

Le definizioni separano ciò che lo strumento osserva, ciò che ricostruisce e ciò che permette di modificare.

Fonti

Le fonti distinguono i risultati sperimentali, il codice degli strumenti, le ipotesi ancora da verificare e le nostre ricostruzioni didattiche.

• Wes Gurnee et al., Verbalizable Representations Form a Global Workspace in Language Models, 6 luglio 2026. Fonte primaria per Jacobian lens, J-space, scambi di coordinate, ablazioni e limiti.
• Anthropic, repository jacobian-lens, commit 581d398613e5, 1 luglio 2026. Implementazione di riferimento e notebook guidato; il repository è dichiarato non mantenuto.
• Decode Research, repository circuit-tracer, commit 255d989e93be, 14 ottobre 2026. Codice per grafi di attribuzione e interventi sulle caratteristiche dei transcodificatori.
• Neuronpedia, documentazione di Circuit Tracing, consultata il 3 novembre 2026. Fonte del percorso pubblico, del caso Dallas e delle cautele sul valore probatorio dello steering.
• Nick Cammarata, Neural Networks Are Already Clean, versione rivista il 30 ottobre 2026. Saggio informale che si presenta come ipotesi di lavoro; il companion paper annunciato non era disponibile al momento della stesura.
• Pourya Kordi, AI’s Biggest Problem Disappeared Overnight, 2 novembre 2026. Video divulgativo usato come pista per la conseguenza progettuale; titolo e alcune formulazioni sono più forti della fonte primaria, alla quale sono state ricondotte le affermazioni tecniche.
• solarkyle, repository jspace, commit 1beaba830179, 11 settembre 2026. Studio indipendente aperto sul monitoraggio degli errori attraverso il J-space, con risultati positivi e mancato trasferimento su alcuni compiti.
• Improve and Manage, codice dei cinque widget, commit a073fbffbf96, 3 novembre 2026. Ricostruzioni didattiche in JavaScript puro; i casi J-space e Dallas riproducono risultati attribuiti alle fonti e non eseguono i modelli.