Retropropagazione - Cronologia

Mindmakerbot il 13:47, 17 ago 2024

2024-08-17T13:47:04Z

← Versione meno recente		Versione delle 13:47, 17 ago 2024
Riga 69:		Riga 69:
	\|title=Backpropagation		\|title=Backpropagation
	\|title_mode=append		\|title_mode=append
	\|keywords="reti neurali, apprendimento automatico, intelligenza artificiale, backpropagation, algoritmo di apprendimento, ottimizzazione, gradienti, funzione obiettivo, loss, propagazione all'indietro"		\|keywords=reti neurali, apprendimento automatico, intelligenza artificiale, backpropagation, algoritmo di apprendimento, ottimizzazione, gradienti, funzione obiettivo, loss, propagazione all'indietro
	\|description="La backpropagation è un metodo fondamentale per addestrare le reti neurali. Questo articolo spiega come funziona la backpropagation, come calcola i gradienti per aggiornare i pesi del modello e minimizzare la funzione di perdita. Vengono inoltre illustrati esempi di applicazione in diversi tipi di reti neurali, come le reti feed-forward, le RNN e i modelli seq2seq."		\|description=La backpropagation è un metodo fondamentale per addestrare le reti neurali. Questo articolo spiega come funziona la backpropagation, come calcola i gradienti per aggiornare i pesi del modello e minimizzare la funzione di perdita. Vengono inoltre illustrati esempi di applicazione in diversi tipi di reti neurali, come le reti feed-forward, le RNN e i modelli seq2seq.
	}}		}}

Mindmakerbot il 13:30, 17 ago 2024

2024-08-17T13:30:58Z

← Versione meno recente		Versione delle 13:30, 17 ago 2024
Riga 65:		Riga 65:
	A questo punto sarà possibile chiamare l'ottimizzatore		A questo punto sarà possibile chiamare l'ottimizzatore
	optim.step() #gradient descent		optim.step() #gradient descent

			{{#seo:
			\|title=Backpropagation
			\|title_mode=append
			\|keywords="reti neurali, apprendimento automatico, intelligenza artificiale, backpropagation, algoritmo di apprendimento, ottimizzazione, gradienti, funzione obiettivo, loss, propagazione all'indietro"
			\|description="La backpropagation è un metodo fondamentale per addestrare le reti neurali. Questo articolo spiega come funziona la backpropagation, come calcola i gradienti per aggiornare i pesi del modello e minimizzare la funzione di perdita. Vengono inoltre illustrati esempi di applicazione in diversi tipi di reti neurali, come le reti feed-forward, le RNN e i modelli seq2seq."
			}}

Mindmakerbot il 11:20, 17 ago 2024

2024-08-17T11:20:21Z

← Versione meno recente		Versione delle 11:20, 17 ago 2024
Riga 65:		Riga 65:
	A questo punto sarà possibile chiamare l'ottimizzatore		A questo punto sarà possibile chiamare l'ottimizzatore
	optim.step() #gradient descent		optim.step() #gradient descent


	~~[[Category:concetto]]~~

Alesaccoia il 16:21, 27 mag 2024

2024-05-27T16:21:53Z

@@ Riga 32: / Riga 32: @@
 [[File:Backprop2.png|miniatura]]
-=== In PyTorch ===
+==== Gradienti Esplosivi ====
 La backpropagation in pytorch viene calcolata, dopo la chiamata del forward pass, nel seguente modo
   prediction = model(data) # forward pass

Alesaccoia il 16:17, 27 mag 2024

2024-05-27T16:17:14Z

← Versione meno recente		Versione delle 16:17, 27 mag 2024
Riga 1:		Riga 1:
	~~Nome: [[Nome::Retropropagazione]]~~		{{Template concetto
			\|NomeInglese=Backpropagation
	~~Nome inglese: [[~~NomeInglese~~::backpropagation]]~~		\|Sigla=Backprop
			}}

	La backpropagation è un metodo per il calcolo dei gradienti utilizzato per il training delle reti neurali. Essa ha senso solo in un contesto di apprendimento supervisionato o autosupervisionato, cioè quando si conosce il valore atteso del modello per un dato input. Essa è la chiave per capire come le reti neurali si addestrano.		La backpropagation è un metodo per il calcolo dei gradienti utilizzato per il training delle reti neurali. Essa ha senso solo in un contesto di apprendimento supervisionato o autosupervisionato, cioè quando si conosce il valore atteso del modello per un dato input. Essa è la chiave per capire come le reti neurali si addestrano.

Riga 43:		Riga 42:

	[[Category:concetto]]		[[Category:concetto]]

	~~__SHOWFACTBOX__~~

Alesaccoia il 12:17, 24 mag 2024

2024-05-24T12:17:15Z

@@ Riga 15: / Riga 15: @@
 * in una [[Recurrent Neural Network (RNN)|rete neurale ricorrente (RNN)]] la backpropagation calcola il gradiente di pesi e bias dei layer densi Whi, Whh, Who rispetto alla differenza dell'output con il valore predetto dopo il numero di step, prefissato. La backpropagation, in questo caso, è chiamata '''backpropagation-through-time (BPTT)'''
 * in un modello [[Sequence to Sequence (seq2seq)|seq2seq]] per la traduzione automatica, la backpropagation utilizza la funzione obiettivo ([[Cross-Entropy Loss]] ) fra la sequenza in output del decoder e la sequenza nell'etichetta. Si consideri che la sequenza di ouput è generata in modo autoregressivo: quindi la backpropagation "porterà" la rete verso la crezione di una sequenza "migliore" '''dato''' il contesto creato dall'encoder, e cercherà di far sì che questo contesto contenga la migliore rappresentazione possibile della sequenza di input. Come esempio di implementazione di veda per esempio [https://github.com/astorfi/sequence-to-sequence-from-scratch/blob/3e4660a6a2e26293657e1cdd528516887cf9e0d2/seq2seq.py#L338 qui] .
 === In PyTorch ===

Sara Maserati il 12:50, 11 apr 2024

2024-04-11T12:50:06Z

← Versione meno recente		Versione delle 12:50, 11 apr 2024
Riga 1:		Riga 1:
			Nome: [[Nome::Retropropagazione]]

			Nome inglese: [[NomeInglese::backpropagation]]


	La backpropagation è un metodo per il calcolo dei gradienti utilizzato per il training delle reti neurali. Essa ha senso solo in un contesto di apprendimento supervisionato o autosupervisionato, cioè quando si conosce il valore atteso del modello per un dato input. Essa è la chiave per capire come le reti neurali si addestrano.		La backpropagation è un metodo per il calcolo dei gradienti utilizzato per il training delle reti neurali. Essa ha senso solo in un contesto di apprendimento supervisionato o autosupervisionato, cioè quando si conosce il valore atteso del modello per un dato input. Essa è la chiave per capire come le reti neurali si addestrano.

Riga 21:		Riga 26:

	[[Category:concetto]]		[[Category:concetto]]

			__SHOWFACTBOX__

Alesaccoia: Alesaccoia ha spostato la pagina Backpropagation a Retropropagazione

2024-04-01T09:29:27Z

Alesaccoia ha spostato la pagina Backpropagation a Retropropagazione

← Versione meno recente	Versione delle 09:29, 1 apr 2024
(Nessuna differenza)

Alesaccoia il 23:44, 28 mar 2024

2024-03-28T23:44:28Z

← Versione meno recente		Versione delle 23:44, 28 mar 2024
Riga 9:		Riga 9:
	* in una rete "statica" per la classificazione, o [[Feed-forward neural network\|feed-forward]] (layer densi), la backpropagation aggiorna i pesi e i bias di tutti i layer, per far sì che il valore del o dei neuroni di ouput sia più simile a quello dell'etichetta fornita		* in una rete "statica" per la classificazione, o [[Feed-forward neural network\|feed-forward]] (layer densi), la backpropagation aggiorna i pesi e i bias di tutti i layer, per far sì che il valore del o dei neuroni di ouput sia più simile a quello dell'etichetta fornita
	* in una [[Recurrent Neural Network (RNN)\|rete neurale ricorrente (RNN)]] la backpropagation calcola il gradiente di pesi e bias dei layer densi Whi, Whh, Who rispetto alla differenza dell'output con il valore predetto dopo il numero di step, prefissato. La backpropagation, in questo caso, è chiamata '''backpropagation-through-time (BPTT)'''		* in una [[Recurrent Neural Network (RNN)\|rete neurale ricorrente (RNN)]] la backpropagation calcola il gradiente di pesi e bias dei layer densi Whi, Whh, Who rispetto alla differenza dell'output con il valore predetto dopo il numero di step, prefissato. La backpropagation, in questo caso, è chiamata '''backpropagation-through-time (BPTT)'''
	* in un modello [[Sequence to Sequence (seq2seq)\|seq2seq]] per la traduzione automatica, la backpropagation ~~parte dal valore della~~ funzione obiettivo ~~calcolata~~ fra l'output del decoder e l'etichetta. ~~Per~~ esempio in [https://~~arxiv~~.~~org~~/~~abs~~/~~1406~~.~~1078~~] ~~, l'output del decoder dopo essere "primato" con il token '''start''', fino all'emissione del token '''end'''~~		* in un modello [[Sequence to Sequence (seq2seq)\|seq2seq]] per la traduzione automatica, la backpropagation utilizza la funzione obiettivo ([[Cross-Entropy Loss]] ) fra la sequenza in output del decoder e la sequenza nell'etichetta. Si consideri che la sequenza di ouput è generata in modo autoregressivo: quindi la backpropagation "porterà" la rete verso la crezione di una sequenza "migliore" '''dato''' il contesto creato dall'encoder, e cercherà di far sì che questo contesto contenga la migliore rappresentazione possibile della sequenza di input. Come esempio di implementazione di veda per esempio [https://github.com/astorfi/sequence-to-sequence-from-scratch/blob/3e4660a6a2e26293657e1cdd528516887cf9e0d2/seq2seq.py#L338 qui] .
	* Alessandro continua

	=== In PyTorch ===		=== In PyTorch ===

Alesaccoia il 15:35, 28 mar 2024

2024-03-28T15:35:11Z

← Versione meno recente		Versione delle 15:35, 28 mar 2024
Riga 19:		Riga 19:
	A questo punto sarà possibile chiamare l'ottimizzatore		A questo punto sarà possibile chiamare l'ottimizzatore
	optim.step() #gradient descent		optim.step() #gradient descent


			[[Category:concetto]]