Si lega a
determina l'addestramento BPE; si riflette nelle voci del vocabolario
Tema
Le proporzioni di lingue e argomenti nel corpus su cui si addestra il tokenizzatore: decidono quali parole ottengono voci intere e quali si compongono a pezzi
determina l'addestramento BPE; si riflette nelle voci del vocabolario