Tema

I concettimachine-learningNel grafoNell'analisi

Autoattenzione

Il meccanismo di attenzione applicato da una sequenza verso sé stessa: ogni posizione interroga le altre posizioni della stessa sequenza

Articoli che parlano di Autoattenzione

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dai vettori alle relazioni: l'attenzione

Si lega a

è un caso del meccanismo di attenzione; in nanoGPT è vincolata dalla maschera causale; produce la rappresentazione contestuale

Da qui ci si arriva

  1. Maschera causale

    Il vincolo che impedisce a ogni posizione di usare le posizioni successive, ponendo a meno infinito i loro punteggi prima della softmax

  2. Costo quadratico dell'attenzione

    Il prezzo del collegamento diretto: ogni posizione si confronta con tutte le precedenti, e i confronti crescono col quadrato della lunghezza della finestra