Byte-Pair Encoding (BPE): differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| Riga 1: | Riga 1: | ||
Nome inglese: [[NomeInglese::Byte-Pair Encoding]] | |||
Sigla: [[Sigla::BPE]] | |||
Una tecnica di [[tokenizzazione]] , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli [[transformer]] come [[GPT]]. | Una tecnica di [[tokenizzazione]] , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli [[transformer]] come [[GPT]]. | ||
Versione delle 09:15, 11 apr 2024
Nome inglese: Byte-Pair Encoding
Sigla: BPE
Una tecnica di tokenizzazione , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli transformer come GPT.
Links
https://huggingface.co/learn/nlp-course/chapter6/5#byte-pair-encoding-tokenization
https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py