Tema

I concettimachine-learningNel grafoNell'analisi

Softmax

La trasformazione che converte le somme d'uscita in probabilità: ogni somma passa per l'esponenziale e si divide per il totale; tutte positive, sommano a 1, coi distacchi amplificati

Articoli che parlano di Softmax

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Le reti multistrato: oltre il muro del percettrone

Si lega a

opera sulle uscite della rete neurale multistrato; è la versione graduata del vincitore unico del percettrone

Da qui ci si arriva

  1. Pesi di attenzione

    I coefficienti, prodotti dalla softmax sui punteggi fra domanda e chiavi, con cui una posizione pesa le altre; sommano a 1

  2. Testa d'uscita

    L'ultimo strato che riporta il vettore alla taglia del vocabolario, da cui la softmax produce le probabilità del prossimo token

  3. Campionamento

    La scelta del prossimo token secondo le probabilità - con la temperatura che le schiaccia o le appiattisce - invece di prendere il candidato più probabile