Funzione di attivazione

Funzione matematica posta all'uscita dei neuroni artificiali che ne modifica l'intervallo del segnale di uscita. E' normalmente una funzione non lineare, che permette alle reti neurali di essere degli approssimatori universali di funzione.

Le funzioni di attivazione più importanti sono:

• Sigmoide
• RELU (1969): https://ieeexplore.ieee.org/document/4082265
• GELU (2016): https://arxiv.org/abs/1606.08415