Tema

I concettimachine-learningNel grafoNell'analisi

Matrice degli embedding

Un parametro appreso con una riga per ogni token e una colonna per ogni dimensione del vettore

Articoli che parlano di Matrice degli embedding

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dai token ai vettori: l'embedding

Si lega a

trasforma l'identificativo del token nell'embedding del token; viene appresa mediante la retropropagazione

Da qui ci si arriva

  1. Codifica one-hot

    Un vettore lungo quanto il vocabolario, composto di zeri tranne un unico 1; rende ogni voce equidistante dalle altre

  2. Embedding del token

    Il vettore iniziale associato a un token prima che gli strati lo mettano in relazione col contesto

  3. Trapianto del vocabolario

    La sostituzione del tokenizzatore in un modello già addestrato: si ricostruiscono le righe della matrice degli embedding e la testa di uscita, spesso la stessa matrice, e si riprende l'addestramento perché le righe nuove partono quasi casuali