Tema

I concettimachine-learningNel grafo

Modello n-gramma

Un modello statistico che stima il prossimo token dalle frequenze di sequenze corte osservate e, quando i conteggi mancano, può ricorrere a sequenze più brevi

Si lega a

soffre della maledizione della dimensionalità; tratta il token come simbolo discreto senza somiglianza appresa

Da qui ci si arriva

  1. Maledizione della dimensionalità

    La crescita combinatoria delle sequenze possibili, tanto rapida che nessun corpus può coprirle tutte

Dove se ne parla

  1. Dai token ai vettori: l'embedding