Byte-Pair Encoding (BPE)
Byte-Pair Encoding (BPE) | |
---|---|
Nome Inglese | Byte-Pair Encoding |
Sigla | BPE |
Una tecnica di tokenizzazione , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli transformer come GPT.
Links
https://huggingface.co/learn/nlp-course/chapter6/5#byte-pair-encoding-tokenization
https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py