Byte-Pair Encoding (BPE): differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| Riga 14: | Riga 14: | ||
[[Category:concetto]] | [[Category:concetto]] | ||
__SHOWFACTBOX__ | |||
Versione delle 09:16, 11 apr 2024
Nome inglese: Byte-Pair Encoding
Sigla: BPE
Una tecnica di tokenizzazione , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli transformer come GPT.
Links
https://huggingface.co/learn/nlp-course/chapter6/5#byte-pair-encoding-tokenization
https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py