Tema

I concettimachine-learningNel grafoNell'analisi

Trapianto del vocabolario

La sostituzione del tokenizzatore in un modello già addestrato: si ricostruiscono le righe della matrice degli embedding e la testa di uscita, spesso la stessa matrice, e si riprende l'addestramento perché le righe nuove partono quasi casuali

Articoli che parlano di Trapianto del vocabolario

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dai token ai vettori: l'embedding

Si lega a

richiede un nuovo vocabolario; ricostruisce la matrice degli embedding; riduce il costo in token di una lingua o di un dominio