Si lega a
in nanoGPT si somma all'embedding del token; è uno dei modi con cui un modello rappresenta l'ordine
Da qui ci si arriva
- Embedding del token
Il vettore iniziale associato a un token prima che gli strati lo mettano in relazione col contesto
- Rappresentazione contestuale
Il vettore trasformato dagli strati del modello in funzione degli altri token accessibili
- Domanda, chiave e valore
Le tre proiezioni apprese ricavate dal vettore di ogni posizione: la domanda interroga, la chiave si lascia trovare, il valore è il contenuto che viene trasmesso