Optimizer (Reti Neurali): differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| (8 versioni intermedie di 3 utenti non mostrate) | |||
| Riga 1: | Riga 1: | ||
{{Template concetto | |||
|NomeInglese=Optimizer | |||
}} | |||
Un'Optimizer è una funzione che aggiorna il valore dei parametri del modello in base al valore calcolato dalla [[Funzione Obiettivo (loss)]] nell'iterazione corrente. Ha vari iperparametri, tra cui normalmente troviamo la [[learning rate]]. | Un'Optimizer è una funzione che aggiorna il valore dei parametri del modello in base al valore calcolato dalla [[Funzione Obiettivo (loss)]] nell'iterazione corrente. Ha vari iperparametri, tra cui normalmente troviamo la [[learning rate]]. | ||
Esempi di ottimizzatori: | |||
* ADAM | |||
* Stochastic Gradient Descent (SGD) | |||
=== Implementazione in PyTorch === | |||
In [[PyTorch]] la funzione ''loss.backward()'' calcola il gradiente, ovvero la derivata parziale dell'errore rispetto ai pesi, e viene normalmente seguita da ''optimizer.step()'' che aggiorna i pesi del modello per adattarli all'errore che è stato calcolato. | |||
=== Link === | === Link === | ||
| Riga 6: | Riga 18: | ||
[https://arxiv.org/abs/1412.6980 Adam: A Method for Stochastic Optimization] | [https://arxiv.org/abs/1412.6980 Adam: A Method for Stochastic Optimization] | ||
{{#seo: | |||
|title=Optimizer | |||
|title_mode=append | |||
|keywords=optimizer, ottimizzatore, funzione obiettivo, loss, apprendimento automatico, machine learning, parametri del modello, iperparametri, learning rate, pytorch, gradiente, derivata parziale, errore, pesi, adam, stochastic gradient descent, sgd | |||
|description=Un'Optimizer è una funzione che aggiorna i parametri di un modello in base alla funzione obiettivo (loss) durante l'apprendimento automatico. Questo articolo esplora i diversi tipi di ottimizzatori, come ADAM e SGD, e come sono implementati in PyTorch. Scopri come gli ottimizzatori utilizzano il gradiente e la learning rate per ridurre l'errore e migliorare le prestazioni del modello. | |||
}} | |||
Versione attuale delle 13:30, 17 ago 2024
| Optimizer (Reti Neurali) | |
|---|---|
| Nome Inglese | Optimizer |
| Sigla | |
Un'Optimizer è una funzione che aggiorna il valore dei parametri del modello in base al valore calcolato dalla Funzione Obiettivo (loss) nell'iterazione corrente. Ha vari iperparametri, tra cui normalmente troviamo la learning rate.
Esempi di ottimizzatori:
- ADAM
- Stochastic Gradient Descent (SGD)
Implementazione in PyTorch
In PyTorch la funzione loss.backward() calcola il gradiente, ovvero la derivata parziale dell'errore rispetto ai pesi, e viene normalmente seguita da optimizer.step() che aggiorna i pesi del modello per adattarli all'errore che è stato calcolato.
Link
https://pytorch.org/docs/stable/optim.html#torch.optim.Optimizer
Adam: A Method for Stochastic Optimization