Tema

I concettimachine-learningNel grafoNell'analisi

Tabella delle fusioni BPE

L'elenco ordinato delle coppie che il tokenizzatore può fondere, appreso sul corpus di addestramento

Articoli che parlano di Tabella delle fusioni BPE

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dal testo ai token: il tokenizzatore

Si lega a

è prodotta dall'addestramento BPE; governa la codifica BPE

Da qui ci si arriva

  1. Addestramento BPE

    La costruzione, su un corpus, della tabella ordinata delle fusioni e del vocabolario

  2. Codifica BPE

    L'applicazione a un testo nuovo della tabella delle fusioni già appresa