Si lega a
trasforma l'identificativo del token nell'embedding del token; viene appresa mediante la retropropagazione
Da qui ci si arriva
- Codifica one-hot
Un vettore lungo quanto il vocabolario, composto di zeri tranne un unico 1; rende ogni voce equidistante dalle altre
- Embedding del token
Il vettore iniziale associato a un token prima che gli strati lo mettano in relazione col contesto
- Trapianto del vocabolario
La sostituzione del tokenizzatore in un modello già addestrato: si ricostruiscono le righe della matrice degli embedding e la testa di uscita, spesso la stessa matrice, e si riprende l'addestramento perché le righe nuove partono quasi casuali