LayerNorm: differenze tra le versioni

Da Wiki AI.
Nessun oggetto della modifica
Nessun oggetto della modifica
 
(Una versione intermedia di uno stesso utente non è mostrata)
Riga 9: Riga 9:


https://www.lesswrong.com/posts/THzcKKQd4oWkg4dSP/you-can-remove-gpt2-s-layernorm-by-fine-tuning-for-an-hour
https://www.lesswrong.com/posts/THzcKKQd4oWkg4dSP/you-can-remove-gpt2-s-layernorm-by-fine-tuning-for-an-hour
{{#seo:
            |title=LayerNorm
            |title_mode=append
            |keywords=reti neurali, RNN, Transformer, modelli di linguaggio, deep learning, elaborazione del linguaggio naturale, normalizzazione, layer, intelligenza artificiale
            |description=LayerNorm è una tecnica di normalizzazione utilizzata nei modelli di Rete Neurale Ricorrente (RNN) e Transformer. Scopri di più su questa tecnica e sul suo impatto sulle performance dei modelli.
           
            }}

Versione attuale delle 13:46, 17 ago 2024

LayerNorm
Nome Inglese LayerNorm
Sigla LayerNorm

Tecnica di normalizzazione dei layer dei modelli di Rete Neurale Ricorrente (RNN) e Transformer.

Links

Layer Normalization

https://www.lesswrong.com/posts/THzcKKQd4oWkg4dSP/you-can-remove-gpt2-s-layernorm-by-fine-tuning-for-an-hour