Modifica Modulo pubblicazione: Training Compute-Optimal Large Language Models

Testo libero:

Questo studio esplora le leggi di scaling empiriche per le prestazioni dei modelli linguistici sulla base della perdita di [[Funzione Obiettivo (loss)|entropia incrociata]]. La perdita ('''[[Funzione Obiettivo (loss)|loss]])''' scala come in modalità power-law con la dimensione del modello, la dimensione del set di dati e la quantità di calcolo utilizzata per l'addestramento Altri dettagli architetturali, come la larghezza o la profondità della rete hanno effetti minimi entro un'ampia gamma. Equazioni semplici governano la dipendenza dell'overfitting dalla dimensione del modello/dataset e la dipendenza della velocità di addestramento dalla dimensione del modello. Queste relazioni '''consentono di determinare l'allocazione ottimale di un budget di calcolo'''. I modelli più grandi sono significativamente più efficienti in termini di campioni, in modo tale che l'addestramento ottimale dal punto di vista computazionale prevede l'addestramento di modelli molto grandi su una quantità relativamente modesta di dati e di '''fermare l'addrestramento significativamente prima della convergenza'''. {{#seo: |title=Training Compute-Optimal Large Language Models |title_mode=append |keywords=modelli linguistici, apprendimento automatico, intelligenza artificiale, elaborazione del linguaggio naturale, reti neurali, legge di scaling, perdita di entropia incrociata, overfitting, velocità di addestramento, allocazione del budget di calcolo |description=Questo studio esplora come la performance dei modelli linguistici scala in base alla perdita di entropia incrociata, alla dimensione del modello, del dataset e al calcolo impiegato. Modelli più grandi sono più sample-efficient, suggerendo che l'addestramento ottimale dal punto di vista computazionale consiste nell'allenare modelli molto grandi su quantità di dati relativamente ridotte. }}