Si lega a
produce il token; usa il vocabolario; può applicare la codifica BPE
Da qui ci si arriva
- Vocabolario
L'elenco finito dei token disponibili, con un identificativo assegnato a ciascuna voce
- Token
L'unità discreta in cui il tokenizzatore codifica il testo: può essere una parola intera, una sottoparola, un carattere, un byte, punteggiatura o un simbolo speciale; è anche l'unità su cui si misura la spesa a consumo