Funzione di attivazione
Nome: Funzione di attivazione
Nome inglese: Activation function
Funzione matematica posta all'uscita dei neuroni artificiali che ne modifica l'intervallo del segnale di uscita. E' normalmente una funzione non lineare, che permette alle reti neurali di essere degli approssimatori universali di funzione.
Le funzioni di attivazione più importanti sono:
- Sigmoide
- RELU (1969): https://ieeexplore.ieee.org/document/4082265
- GELU (2016): https://arxiv.org/abs/1606.08415