Funzione Obiettivo (loss) - Cronologia

Alesaccoia il 09:46, 2 gen 2025

2025-01-02T09:46:35Z

← Versione meno recente		Versione delle 09:46, 2 gen 2025
Riga 5:		Riga 5:
	Chiamata anche funzione di costo o funzione di perdita, dall'inglese '''loss function''', è una funzione che misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output supervisionato e rappresenta il costo dell'errore. Durante il processo di apprendimento di una rete neurale, con l'algoritmo di [[backpropagation]], ad ogni iterazione i pesi della rete vengono aggiornati per ridurre la perdita.		Chiamata anche funzione di costo o funzione di perdita, dall'inglese '''loss function''', è una funzione che misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output supervisionato e rappresenta il costo dell'errore. Durante il processo di apprendimento di una rete neurale, con l'algoritmo di [[backpropagation]], ad ogni iterazione i pesi della rete vengono aggiornati per ridurre la perdita.

	Possiamo immaginarci '''ogni''' architettura di rete neurale, e le "complicazioni" (ad esempio: [[Rete Neurale Ricorrente (RNN)\|ricorsività]], [[Attention (Machine Learning)\|layer di attention]], [[Embeddings\|layer di embeddings]], [[Dropout (Reti Neurali)\|dropout]]) che sono state introdotte nel corso degli anni partendo dalla semplice architettura [[Rete Neurale Feed-Forward (FNN)\|feed-forward]] (anch'essa già una miglioria rispetto al [[The perceptron: A probabilistic model for information storage and organization in the brain\|perceptron di Rosenblatt]]), come una "black-box". Questa black-box rappresenta una funzione matematica complessa, che espone al meccanismo di [[retropropagazione]] l' insieme dei suoi parametri~~, che~~ in inglese vengono chiamati ''learneable parameters'', ovvero parametri che possono essere "aggiustati". Essi vengono aggiustati, ~~a ogni esempio~~ durante il training (auto)supervisionato, per '''diminuire''' '''la perdita''' (o loss), ovvero la differenza fra il valore reale e quello previsto dalla rete per l'etichetta corrente.		Possiamo immaginarci '''ogni''' architettura di rete neurale, e le "complicazioni" (ad esempio: [[Rete Neurale Ricorrente (RNN)\|ricorsività]], [[Attention (Machine Learning)\|layer di attention]], [[Embeddings\|layer di embeddings]], [[Dropout (Reti Neurali)\|dropout]]) che sono state introdotte nel corso degli anni partendo dalla semplice architettura [[Rete Neurale Feed-Forward (FNN)\|feed-forward]] (anch'essa già una miglioria rispetto al [[The perceptron: A probabilistic model for information storage and organization in the brain\|perceptron di Rosenblatt]]), come una "black-box". Questa black-box rappresenta una funzione matematica complessa, che espone al meccanismo di [[retropropagazione]] l' insieme dei suoi parametri perchè vengano aggiornati: infatti in inglese essi vengono chiamati ''learneable parameters'', ovvero parametri che possono essere "aggiustati". Essi vengono aggiustati, durante il training (auto)supervisionato, per '''diminuire''' '''la perdita''' (o loss), ovvero la differenza fra il valore reale e quello previsto dalla rete per l'etichetta corrente.

	[[File:Lossfunction.png\|nessuno\|miniatura\|600x600px\|Rappresentazione della funzione di perdita e della retropropagazione, nel caso di classificazione con Entropia Incrociata)]]		[[File:Lossfunction.png\|nessuno\|miniatura\|600x600px\|Rappresentazione della funzione di perdita e della retropropagazione, nel caso di classificazione con Entropia Incrociata)]]

Alesaccoia il 09:36, 2 gen 2025

2025-01-02T09:36:06Z

← Versione meno recente		Versione delle 09:36, 2 gen 2025
Riga 5:		Riga 5:
	Chiamata anche funzione di costo o funzione di perdita, dall'inglese '''loss function''', è una funzione che misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output supervisionato e rappresenta il costo dell'errore. Durante il processo di apprendimento di una rete neurale, con l'algoritmo di [[backpropagation]], ad ogni iterazione i pesi della rete vengono aggiornati per ridurre la perdita.		Chiamata anche funzione di costo o funzione di perdita, dall'inglese '''loss function''', è una funzione che misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output supervisionato e rappresenta il costo dell'errore. Durante il processo di apprendimento di una rete neurale, con l'algoritmo di [[backpropagation]], ad ogni iterazione i pesi della rete vengono aggiornati per ridurre la perdita.

			Possiamo immaginarci '''ogni''' architettura di rete neurale, e le "complicazioni" (ad esempio: [[Rete Neurale Ricorrente (RNN)\|ricorsività]], [[Attention (Machine Learning)\|layer di attention]], [[Embeddings\|layer di embeddings]], [[Dropout (Reti Neurali)\|dropout]]) che sono state introdotte nel corso degli anni partendo dalla semplice architettura [[Rete Neurale Feed-Forward (FNN)\|feed-forward]] (anch'essa già una miglioria rispetto al [[The perceptron: A probabilistic model for information storage and organization in the brain\|perceptron di Rosenblatt]]), come una "black-box". Questa black-box rappresenta una funzione matematica complessa, che espone al meccanismo di [[retropropagazione]] l' insieme dei suoi parametri, che in inglese vengono chiamati ''learneable parameters'', ovvero parametri che possono essere "aggiustati". Essi vengono aggiustati, a ogni esempio durante il training (auto)supervisionato, per '''diminuire''' '''la perdita''' (o loss), ovvero la differenza fra il valore reale e quello previsto dalla rete per l'etichetta corrente.

	~~In pratica, la~~ funzione di perdita ~~ci serve a capire quanto il risultato~~ della ~~rete neurale (Y~~) ~~si distacca dal risultato corretto che ci aspettiamo (Y Target).~~		[[File:Lossfunction.png\|nessuno\|miniatura\|600x600px\|Rappresentazione della funzione di perdita e della retropropagazione, nel caso di classificazione con Entropia Incrociata)]]

	= Principali Funzioni Obiettivo =		= Principali Funzioni Obiettivo =

Alesaccoia: /* L'Entropia Incrociata (o Cross-Entropy Loss, o Log Loss) */

2024-11-21T09:04:20Z

L'Entropia Incrociata (o Cross-Entropy Loss, o Log Loss)

← Versione meno recente		Versione delle 09:04, 21 nov 2024
Riga 37:		Riga 37:

	La formula dell'entropia incrociata rappresenta la differenza fra due distribuzioni di probabilità P e Q.		La formula dell'entropia incrociata rappresenta la differenza fra due distribuzioni di probabilità P e Q.

	<math>H(P,Q) = -\sum_{i \in I} P(i) \log(Q(i))</math>		<math>H(P,Q) = -\sum_{i \in I} P(i) \log(Q(i))</math>

	Si possono immaginare i due casi estremi:		Si possono immaginare i due casi estremi:

	<math>P(i) = 1</math> e <math>Q(i) = 0</math>, dove la classe predetta era vera ma è stata completamente sbagliata. <math>H(P,Q)</math> è <math>+\infty</math>		* <math>P(i) = 1</math> e <math>Q(i) = 0</math>, dove la classe predetta era vera ma è stata completamente sbagliata. <math>H(P,Q)</math> è <math>+\infty</math>
	<math>P(i) = 0</math> e <math>Q(i) = 1</math>: il prodotto interno dà zero		* <math>P(i) = 0</math> e <math>Q(i) = 1</math>: il prodotto interno dà zero

	In caso di classificazione perfetta, la ~~Log Loss~~ è uguale a zero, altrimenti tende all'infinito più è alta la divergenza .		In caso di classificazione perfetta, la perdita è uguale a zero, altrimenti tende all'infinito più è alta la divergenza .
	== Binary Cross Entropy (BCE Loss) ==		== Binary Cross Entropy (BCE Loss) ==
	Viene utlizzata nelle situazioni di classificazione binaria, in cui solo una di M classi è vera nello stesso momento		Viene utlizzata nelle situazioni di classificazione binaria, in cui solo una di M classi è vera nello stesso momento

Alesaccoia il 09:03, 21 nov 2024

2024-11-21T09:03:21Z

← Versione meno recente		Versione delle 09:03, 21 nov 2024
Riga 34:		Riga 34:
	L'Entropia Incrociata è utilizzata come funzione obiettivo nei contesti di '''classificazione''', sia binaria che multi-label, in cui si predice più di un'etichetta per ogni esempio di training.		L'Entropia Incrociata è utilizzata come funzione obiettivo nei contesti di '''classificazione''', sia binaria che multi-label, in cui si predice più di un'etichetta per ogni esempio di training.

	Si ricorda che il logaritmo della probabilità di un evento, log(P(x)), va da meno infinito per P(x) == 0 a zero per P(x) == 1.		Si ricorda che il logaritmo della probabilità di un evento, <math>log(P(i))</math>, va da meno infinito per <math>P(i) = 0</math> a zero per <math>P(i) = 1</math>.

	La formula dell'entropia incrociata rappresenta la differenza fra due distribuzioni di probabilità P e Q.		La formula dell'entropia incrociata rappresenta la differenza fra due distribuzioni di probabilità P e Q.
			<math>H(P,Q) = -\sum_{i \in I} P(i) \log(Q(i))</math>
			Si possono immaginare i due casi estremi:

	<math>H(~~P,Q~~) = ~~-\sum_{x \in X} P(x) \log(Q(x))~~</math>		<math>P(i) = 1</math> e <math>Q(i) = 0</math>, dove la classe predetta era vera ma è stata completamente sbagliata. <math>H(P,Q)</math> è <math>+\infty</math>
			<math>P(i) = 0</math> e <math>Q(i) = 1</math>: il prodotto interno dà zero
	~~Si possono immaginare i due casi estremi:~~
	* P(x) = 1 e Q(x) = 0, dove la classe predetta era vera ma è stata completamente sbagliata. H(P,Q) è + ~~infinito~~
	* P(x) = 0 e Q(x) = 1: il prodotto interno dà zero

	In caso di classificazione perfetta, la Log Loss è uguale a zero, altrimenti tende all'infinito più è alta la divergenza .		In caso di classificazione perfetta, la Log Loss è uguale a zero, altrimenti tende all'infinito più è alta la divergenza .

Alesaccoia il 09:00, 21 nov 2024

2024-11-21T09:00:01Z

← Versione meno recente		Versione delle 09:00, 21 nov 2024
Riga 38:		Riga 38:
	La formula dell'entropia incrociata rappresenta la differenza fra due distribuzioni di probabilità P e Q.		La formula dell'entropia incrociata rappresenta la differenza fra due distribuzioni di probabilità P e Q.

	~~<nowiki>~~<math>H(P,Q) = -\sum_{x \in X} P(x) \log(Q(x))</math~~></nowiki~~>		<math>H(P,Q) = -\sum_{x \in X} P(x) \log(Q(x))</math>

	Si possono immaginare i due casi estremi:		Si possono immaginare i due casi estremi:

Alesaccoia il 08:59, 21 nov 2024

2024-11-21T08:59:37Z

← Versione meno recente		Versione delle 08:59, 21 nov 2024
Riga 38:		Riga 38:
	La formula dell'entropia incrociata rappresenta la differenza fra due distribuzioni di probabilità P e Q.		La formula dell'entropia incrociata rappresenta la differenza fra due distribuzioni di probabilità P e Q.

	H(P, Q) = ~~– sum~~ x in X P(x) * log(Q(x))		<nowiki><math>H(P,Q) = -\sum_{x \in X} P(x) \log(Q(x))</math></nowiki>

	Si possono immaginare i due casi estremi:		Si possono immaginare i due casi estremi:

Mindmakerbot il 13:29, 17 ago 2024

2024-08-17T13:29:45Z

← Versione meno recente		Versione delle 13:29, 17 ago 2024
Riga 60:		Riga 60:
	⇒ tensor(0.2284)		⇒ tensor(0.2284)
	</source>		</source>

			{{#seo:
			\|title=Loss Function
			\|title_mode=append
			\|keywords=machine learning, apprendimento automatico, reti neurali, deep learning, funzione di costo, funzione di perdita, errore quadratico medio, entropia incrociata, binary cross entropy, regressione, classificazione
			\|description=La Loss Function, o funzione di costo, misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output atteso. Questo articolo spiega i diversi tipi di Loss Function, tra cui Mean Squared Error (MSE), Cross-Entropy e Binary Cross Entropy (BCE), con esempi pratici in Python.
			\|image=Uploaded_file.png
			}}

Mindmakerbot il 11:18, 17 ago 2024

2024-08-17T11:18:19Z

← Versione meno recente		Versione delle 11:18, 17 ago 2024
Riga 1:		Riga 1:
	~~Nome: [[Nome::Funzione Obiettivo]]~~		{{Template concetto
			\|NomeInglese=Loss Function
	~~Nome inglese: [[~~NomeInglese::Loss Function]]		}}



	Chiamata anche funzione di costo o funzione di perdita, dall'inglese '''loss function''', è una funzione che misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output supervisionato e rappresenta il costo dell'errore. Durante il processo di apprendimento di una rete neurale, con l'algoritmo di [[backpropagation]], ad ogni iterazione i pesi della rete vengono aggiornati per ridurre la perdita.		Chiamata anche funzione di costo o funzione di perdita, dall'inglese '''loss function''', è una funzione che misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output supervisionato e rappresenta il costo dell'errore. Durante il processo di apprendimento di una rete neurale, con l'algoritmo di [[backpropagation]], ad ogni iterazione i pesi della rete vengono aggiornati per ridurre la perdita.
Riga 62:		Riga 60:
	⇒ tensor(0.2284)		⇒ tensor(0.2284)
	</source>		</source>

	~~[[Category:concetto]]~~

	~~__SHOWFACTBOX__~~

Alesaccoia il 10:15, 12 apr 2024

2024-04-12T10:15:39Z

← Versione meno recente		Versione delle 10:15, 12 apr 2024
Riga 1:		Riga 1:
	Nome: [[Nome::Funzione Obiettivo]]		Nome: [[Nome::Funzione Obiettivo]]

	Nome inglese: [[~~Objective~~ Function]]		Nome inglese: [[NomeInglese::Loss Function]]

Sara Maserati il 10:41, 11 apr 2024

2024-04-11T10:41:15Z

← Versione meno recente		Versione delle 10:41, 11 apr 2024
Riga 1:		Riga 1:
			Nome: [[Nome::Funzione Obiettivo]]

			Nome inglese: [[Objective Function]]



	Chiamata anche funzione di costo o funzione di perdita, dall'inglese '''loss function''', è una funzione che misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output supervisionato e rappresenta il costo dell'errore. Durante il processo di apprendimento di una rete neurale, con l'algoritmo di [[backpropagation]], ad ogni iterazione i pesi della rete vengono aggiornati per ridurre la perdita.		Chiamata anche funzione di costo o funzione di perdita, dall'inglese '''loss function''', è una funzione che misura la discrepanza tra la stima di un algoritmo di Machine Learning e l'output supervisionato e rappresenta il costo dell'errore. Durante il processo di apprendimento di una rete neurale, con l'algoritmo di [[backpropagation]], ad ogni iterazione i pesi della rete vengono aggiornati per ridurre la perdita.

Riga 58:		Riga 64:

	[[Category:concetto]]		[[Category:concetto]]

			__SHOWFACTBOX__