https://wiki.mindmaker.it/index.php?action=history&feed=atom&title=Training_Compute-Optimal_Large_Language_Models 2026-05-01T09:38:53Z Cronologia della pagina su questo sito MediaWiki 1.41.0 https://wiki.mindmaker.it/index.php?title=Training_Compute-Optimal_Large_Language_Models&diff=4592&oldid=prev 2024-11-27T22:39:45Z

<p></p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="it"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Versione meno recente</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Versione delle 22:39, 27 nov 2024</td> </tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l7">Riga 7:</td> <td colspan="2" class="diff-lineno">Riga 7:</td></tr> <tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>}}</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>}}</div></td></tr> <tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br></td></tr> <tr><td class="diff-marker" data-marker="−"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Questo studio esplora le leggi di scaling empiriche per le prestazioni dei modelli linguistici sulla base della perdita di entropia incrociata. La perdita scala come <del style="font-weight: bold; text-decoration: none;">una legge di potenza </del>con la dimensione del modello, la dimensione del set di dati e la quantità di calcolo utilizzata per l'addestramento<del style="font-weight: bold; text-decoration: none;">, con alcune tendenze che abbracciano più di sette ordini di grandezza.  </del>Altri dettagli architetturali, come la larghezza o la profondità della rete<del style="font-weight: bold; text-decoration: none;">, </del>hanno effetti minimi entro un'ampia gamma. Equazioni semplici governano la dipendenza dell'overfitting dalla dimensione del modello/dataset e la dipendenza della velocità di addestramento dalla dimensione del modello. Queste relazioni consentono di determinare l'allocazione ottimale di un budget di calcolo <del style="font-weight: bold; text-decoration: none;">fisso</del>. I modelli più grandi sono significativamente più efficienti in termini di campioni, in modo tale che l'addestramento ottimale dal punto di vista computazionale prevede l'addestramento di modelli molto grandi su una quantità relativamente modesta di dati e l'<del style="font-weight: bold; text-decoration: none;">arresto </del>significativamente prima della convergenza.</div></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Questo studio esplora le leggi di scaling empiriche per le prestazioni dei modelli linguistici sulla base della perdita di <ins style="font-weight: bold; text-decoration: none;">[[Funzione Obiettivo (loss)|</ins>entropia incrociata<ins style="font-weight: bold; text-decoration: none;">]]</ins>.  </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div> </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>La perdita <ins style="font-weight: bold; text-decoration: none;">('''[[Funzione Obiettivo (loss)|loss]])''' </ins>scala come <ins style="font-weight: bold; text-decoration: none;">in modalità power-law </ins>con la dimensione del modello, la dimensione del set di dati e la quantità di calcolo utilizzata per l'addestramento</div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div> </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Altri dettagli architetturali, come la larghezza o la profondità della rete hanno effetti minimi entro un'ampia gamma.  </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div> </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Equazioni semplici governano la dipendenza dell'overfitting dalla dimensione del modello/dataset e la dipendenza della velocità di addestramento dalla dimensione del modello. Queste relazioni <ins style="font-weight: bold; text-decoration: none;">'''</ins>consentono di determinare l'allocazione ottimale di un budget di calcolo<ins style="font-weight: bold; text-decoration: none;">'''</ins>.  </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div> </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>I modelli più grandi sono significativamente più efficienti in termini di campioni, in modo tale che l'addestramento ottimale dal punto di vista computazionale prevede l'addestramento di modelli molto grandi su una quantità relativamente modesta di dati e <ins style="font-weight: bold; text-decoration: none;">di '''fermare </ins>l'<ins style="font-weight: bold; text-decoration: none;">addrestramento </ins>significativamente prima della convergenza<ins style="font-weight: bold; text-decoration: none;">'''</ins>.</div></td></tr> <tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br></td></tr> <tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>{{#seo:</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>{{#seo:</div></td></tr> </table>

Alesaccoia https://wiki.mindmaker.it/index.php?title=Training_Compute-Optimal_Large_Language_Models&diff=4591&oldid=prev 2024-11-27T22:37:26Z

<p></p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="it"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Versione meno recente</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Versione delle 22:37, 27 nov 2024</td> </tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l1">Riga 1:</td> <td colspan="2" class="diff-lineno">Riga 1:</td></tr> <tr><td class="diff-marker" data-marker="−"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del style="font-weight: bold; text-decoration: none;">[[Categoria</del>:<del style="font-weight: bold; text-decoration: none;">Pubblicazione]]</del></div></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">{{template pubblicazione</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|data=2021</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|autori=J. Kaplan, Sam McCandlish, T. Henighan, Tom B. Brown, B. Chess, R. Child, Scott Gray, Alec Radford, Jeff Wu, Dario Amodei</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|URL=https</ins>:<ins style="font-weight: bold; text-decoration: none;">//www.semanticscholar.org/paper/e6c561d02500b2596a230b341a8eb8b921ca5bf2</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|topic=Modelli Linguistici Neurali</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|citazioni=3449</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">}}</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div> </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">Questo studio esplora le leggi di scaling empiriche per le prestazioni dei modelli linguistici sulla base della perdita di entropia incrociata. La perdita scala come una legge di potenza con la dimensione del modello, la dimensione del set di dati e la quantità di calcolo utilizzata per l'addestramento, con alcune tendenze che abbracciano più di sette ordini di grandezza.  Altri dettagli architetturali, come la larghezza o la profondità della rete, hanno effetti minimi entro un'ampia gamma. Equazioni semplici governano la dipendenza dell'overfitting dalla dimensione del modello/dataset e la dipendenza della velocità di addestramento dalla dimensione del modello. Queste relazioni consentono di determinare l'allocazione ottimale di un budget di calcolo fisso. I modelli più grandi sono significativamente più efficienti in termini di campioni, in modo tale che l'addestramento ottimale dal punto di vista computazionale prevede l'addestramento di modelli molto grandi su una quantità relativamente modesta di dati e l'arresto significativamente prima della convergenza.</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div> </div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">{{#seo:</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|title=Training Compute-Optimal Large Language Models</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|title_mode=append</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|keywords=modelli linguistici, apprendimento automatico, intelligenza artificiale, elaborazione del linguaggio naturale, reti neurali, legge di scaling, perdita di entropia incrociata, overfitting, velocità di addestramento, allocazione del budget di calcolo</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">|description=Questo studio esplora come la performance dei modelli linguistici scala in base alla perdita di entropia incrociata, alla dimensione del modello, del dataset e al calcolo impiegato.  Modelli più grandi sono più sample-efficient, suggerendo che l'addestramento ottimale dal punto di vista computazionale consiste nell'allenare modelli molto grandi su quantità di dati relativamente ridotte.</ins></div></td></tr> <tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">}}</ins></div></td></tr> </table>

Mindmakerbot https://wiki.mindmaker.it/index.php?title=Training_Compute-Optimal_Large_Language_Models&diff=4590&oldid=prev 2024-11-27T22:36:59Z

<p>Creata pagina con &quot;<a href="/index.php/Categoria:Pubblicazione" title="Categoria:Pubblicazione">Categoria:Pubblicazione</a>&quot;</p> <p><b>Nuova pagina</b></p><div>[[Categoria:Pubblicazione]]</div>

Alesaccoia