Tema

I concettimachine-learningNel grafoNell'analisi

MLP del Transformer

Lo strato che allarga ogni vettore di quattro volte, lo passa per una curva morbida e lo riporta alla dimensione di partenza, elaborando ogni posizione da sola

Articoli che parlano di MLP del Transformer

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Il Transformer, aperto col cacciavite

Si lega a

è nel blocco del Transformer; usa la GELU, variante della ReLU delle reti multistrato; non guarda le altre posizioni

Da qui ci si arriva

  1. Blocco del Transformer

    L'unità che si ripete lungo la pila: una normalizzazione, l'attenzione multi-testa, una connessione residua, poi una seconda normalizzazione, l'MLP e una seconda connessione residua

  2. Normalizzazione di livello

    La messa in scala che riporta i vettori a una scala comune prima di ogni operazione, tenendo i numeri sotto controllo lungo la pila