Si lega a
è una funzione di attivazione; mitiga il gradiente che svanisce
Da qui ci si arriva
- MLP del Transformer
Lo strato che allarga ogni vettore di quattro volte, lo passa per una curva morbida e lo riporta alla dimensione di partenza, elaborando ogni posizione da sola
- Gradiente che svanisce
Negli strati profondi il segnale d'errore si spegne, perché torna indietro moltiplicato per pendenze minori di 1 a ogni strato: gli strati vicini all'ingresso smettono di imparare