Tema

I concettimachine-learningNel grafoNell'analisi

Byte pair encoding

Famiglia di algoritmi che costruisce unità a lunghezza variabile fondendo ripetutamente coppie frequenti; la variante di Sennrich parte da caratteri, quella di GPT-2 dai byte

Articoli che parlano di Byte pair encoding

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dal testo ai token: il tokenizzatore

Si lega a

comprende l'addestramento BPE e la codifica BPE; costruisce il vocabolario