Softmax

Softmax, anche chiamata softargmax o funzione esponenziale normalizzata, è una Funzione di Attivazione che viene utilizzata dopo l'ultimo layer delle reti neurali per trasformare i logit in probabilità, nell'ambito di classificazione multiclasse (per la classificazione binaria si usa Sigmoide.

Un esempio in pytorch:

x = torch.randn(1, 3, 224, 224)
logits = m(x)
logits 
 
>> tensor([[-0.2135, -0.0248,  3.985, -4.235, -0.1831]], grad_fn=<AddmmBackward0>)


scores = torch.softmax(logits)
scores 


>> tensor([[0.0096, 0.0117, 0.9765, 0.0002, 0.0020]], grad_fn=<SoftmaxBackward0>)