MMLU: differenze tra le versioni
Nessun oggetto della modifica |
(→Intro) |
||
| Riga 3: | Riga 3: | ||
Il benchmark MMLU (Large Language Models Understanding) è stato ideato per valutare le capacità di comprensione dei modelli di linguaggio di grandi dimensioni. Questo tipo di benchmark si concentra su vari aspetti della comprensione del linguaggio naturale, inclusa la capacità dei modelli di interpretare, generare testo, e comprendere le sfumature del linguaggio umano. | Il benchmark MMLU (Large Language Models Understanding) è stato ideato per valutare le capacità di comprensione dei modelli di linguaggio di grandi dimensioni. Questo tipo di benchmark si concentra su vari aspetti della comprensione del linguaggio naturale, inclusa la capacità dei modelli di interpretare, generare testo, e comprendere le sfumature del linguaggio umano. | ||
Esempi | == Esempi == | ||
One of the reasons that the government discourages and regulates monopolies is that (A) producer surplus is lost and consumer surplus is gained. | One of the reasons that the government discourages and regulates monopolies is that (A) producer surplus is lost and consumer surplus is gained. | ||
| Riga 13: | Riga 13: | ||
(C) less than 9.8 m/s2 | (C) less than 9.8 m/s2 | ||
(D) Cannot say unless the speed of throw is given. | (D) Cannot say unless the speed of throw is given. | ||
== Link == | == Link == | ||
* [https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu Benchmark] | * [https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu Benchmark] | ||
* [https://arxiv.org/pdf/2009.03300.pdf Massive Multitask Language Understanding (paper)] | * [https://arxiv.org/pdf/2009.03300.pdf Massive Multitask Language Understanding (paper)] | ||
Versione delle 14:31, 28 feb 2024
Intro
Il benchmark MMLU (Large Language Models Understanding) è stato ideato per valutare le capacità di comprensione dei modelli di linguaggio di grandi dimensioni. Questo tipo di benchmark si concentra su vari aspetti della comprensione del linguaggio naturale, inclusa la capacità dei modelli di interpretare, generare testo, e comprendere le sfumature del linguaggio umano.
Esempi
One of the reasons that the government discourages and regulates monopolies is that (A) producer surplus is lost and consumer surplus is gained. (B) monopoly prices ensure productive efficiency but cost society allocative efficiency. (C) monopoly firms do not engage in significant research and development. (D) consumer surplus is lost with higher prices and lower levels of output.
When you drop a ball from rest it accelerates downward at 9.8 m/s2. If you instead throw it downward assuming no air resistance its acceleration immediately after leaving your hand is (A) 9.8 m/s2 (B) more than 9.8 m/s2 (C) less than 9.8 m/s2 (D) Cannot say unless the speed of throw is given.