Articoli che parlano di Autoattenzione
Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.
Si lega a
è un caso del meccanismo di attenzione; in nanoGPT è vincolata dalla maschera causale; produce la rappresentazione contestuale
Da qui ci si arriva
- Maschera causale
Il vincolo che impedisce a ogni posizione di usare le posizioni successive, ponendo a meno infinito i loro punteggi prima della softmax
- Costo quadratico dell'attenzione
Il prezzo del collegamento diretto: ogni posizione si confronta con tutte le precedenti, e i confronti crescono col quadrato della lunghezza della finestra