Tema

I concettimachine-learningNel grafoNell'analisi

Campionamento

La scelta del prossimo token secondo le probabilità - con la temperatura che le schiaccia o le appiattisce - invece di prendere il candidato più probabile

Articoli che parlano di Campionamento

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Il Transformer, aperto col cacciavite

Si lega a

segue la softmax; alimenta la generazione un token alla volta

Da qui ci si arriva

  1. Testa d'uscita

    L'ultimo strato che riporta il vettore alla taglia del vocabolario, da cui la softmax produce le probabilità del prossimo token