Optimizer (Reti Neurali): differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| Riga 1: | Riga 1: | ||
Un'Optimizer è una funzione che aggiorna il valore dei parametri del modello in base al valore calcolato dalla [[Funzione Obiettivo (loss)]] nell'iterazione corrente. Ha vari iperparametri, tra cui normalmente troviamo la [[learning rate]]. | Un'Optimizer è una funzione che aggiorna il valore dei parametri del modello in base al valore calcolato dalla [[Funzione Obiettivo (loss)]] nell'iterazione corrente. Ha vari iperparametri, tra cui normalmente troviamo la [[learning rate]]. | ||
Esempi di ottimizzatori: | |||
* ADAM | |||
* Stochastic Gradient Descent (SGD) | |||
=== Link === | === Link === | ||
Versione delle 10:05, 10 mar 2024
Un'Optimizer è una funzione che aggiorna il valore dei parametri del modello in base al valore calcolato dalla Funzione Obiettivo (loss) nell'iterazione corrente. Ha vari iperparametri, tra cui normalmente troviamo la learning rate.
Esempi di ottimizzatori:
- ADAM
- Stochastic Gradient Descent (SGD)
Link
https://pytorch.org/docs/stable/optim.html#torch.optim.Optimizer