MLP del Transformer

Si lega a

è nel blocco del Transformer; usa la GELU, variante della ReLU delle reti multistrato; non guarda le altre posizioni

Da qui ci si arriva

1. Blocco del Transformer

   L'unità che si ripete lungo la pila: una normalizzazione, l'attenzione multi-testa, una connessione residua, poi una seconda normalizzazione, l'MLP e una seconda connessione residua

2. Normalizzazione di livello

   La messa in scala che riporta i vettori a una scala comune prima di ogni operazione, tenendo i numeri sotto controllo lungo la pila

Dove se ne parla

1. Il Transformer, aperto col cacciavite