Tema

I concettimachine-learningNel grafoNell'analisi

Costo quadratico dell'attenzione

Il prezzo del collegamento diretto: ogni posizione si confronta con tutte le precedenti, e i confronti crescono col quadrato della lunghezza della finestra

Articoli che parlano di Costo quadratico dell'attenzione

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dai vettori alle relazioni: l'attenzione

Si lega a

deriva dall'autoattenzione; motiva la cache di chiavi e valori e le attenzioni raggruppate del pezzo sulle evoluzioni; si lega al costo del contesto misurato nella serie agenti-ai

Da qui ci si arriva

  1. Costo per token

    Quanto si paga per ogni token di ingresso, di ragionamento e di uscita: dipende dalla lingua attraverso il tokenizzatore, dalla finestra di contesto, dai parametri attivi e dai token di ragionamento