Tema

I concettimachine-learningNel grafoNell'analisi

Miscela del corpus

Le proporzioni di lingue e argomenti nel corpus su cui si addestra il tokenizzatore: decidono quali parole ottengono voci intere e quali si compongono a pezzi

Articoli che parlano di Miscela del corpus

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dal testo ai token: il tokenizzatore

Si lega a

determina l'addestramento BPE; si riflette nelle voci del vocabolario