Tema

I concettimachine-learningNel grafoNell'analisi

Codifica BPE

L'applicazione a un testo nuovo della tabella delle fusioni già appresa

Articoli che parlano di Codifica BPE

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dal testo ai token: il tokenizzatore

Si lega a

usa la tabella delle fusioni BPE; produce il token

Da qui ci si arriva

  1. Tokenizzazione

    La trasformazione del testo in una sequenza di token secondo un vocabolario; può operare a caratteri, parole, sottoparole o byte

  2. Byte pair encoding

    Famiglia di algoritmi che costruisce unità a lunghezza variabile fondendo ripetutamente coppie frequenti; la variante di Sennrich parte da caratteri, quella di GPT-2 dai byte

  3. Addestramento BPE

    La costruzione, su un corpus, della tabella ordinata delle fusioni e del vocabolario

  4. Tabella delle fusioni BPE

    L'elenco ordinato delle coppie che il tokenizzatore può fondere, appreso sul corpus di addestramento