Funzione di attivazione

Funzione di attivazione
Nome Inglese	Activation function
Sigla

Funzione matematica posta all'uscita dei neuroni artificiali che ne modifica l'intervallo del segnale di uscita. E' normalmente una funzione non lineare, che permette alle reti neurali di essere degli approssimatori universali di funzione.

Le funzioni di attivazione più importanti sono:

• Sigmoide
• RELU (1969): https://ieeexplore.ieee.org/document/4082265
• GELU (2016): https://arxiv.org/abs/1606.08415