Tema

I concettimachine-learningNel grafoNell'analisi

Identificativo del token

Il numero intero che individua una voce del vocabolario; è un indirizzo, non una quantità dotata di significato

Articoli che parlano di Identificativo del token

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Dal testo ai token: il tokenizzatore

Si lega a

identifica il token; seleziona una riga della prima matrice di pesi

Da qui ci si arriva

  1. Codifica one-hot

    Un vettore lungo quanto il vocabolario, composto di zeri tranne un unico 1; rende ogni voce equidistante dalle altre

  2. Matrice degli embedding

    Un parametro appreso con una riga per ogni token e una colonna per ogni dimensione del vettore

  3. Vocabolario

    L'elenco finito dei token disponibili, con un identificativo assegnato a ciascuna voce