Si lega a
ogni suo nodo è un neurone artificiale; contiene lo strato nascosto; si addestra con la retropropagazione; risolve il problema XOR
Da qui ci si arriva
- Strato nascosto
Lo strato fra ingresso e uscita, che nessuna etichetta raggiunge direttamente: trasforma i dati finché il problema diventa separabile
- Retropropagazione
L'algoritmo che ripartisce l'errore all'indietro, strato per strato, in proporzione alla responsabilità di ciascun peso; l'idea fu scoperta da più gruppi negli anni Settanta e Ottanta, e Rumelhart, Hinton e Williams (1986) la resero lo strumento di tutti
- Teorema di approssimazione universale
Una rete con un solo strato nascosto abbastanza largo può approssimare qualunque funzione continua (Cybenko, 1989). Garantisce che la rete esiste, non che l'addestramento la trova
- Profondità della rete
Il numero di strati. Più strati permettono gerarchie di tratti - semplici nei primi, composti nei successivi - che uno strato solo, per quanto largo, paga carissimo
- Sovradattamento
Imparare a memoria gli esempi invece del criterio: eccellente sull'addestramento, inutile sui dati mai visti; si smaschera col metro della generalizzazione
- Softmax
La trasformazione che converte le somme d'uscita in probabilità: ogni somma passa per l'esponenziale e si divide per il totale; tutte positive, sommano a 1, coi distacchi amplificati