Byte-Pair Encoding (BPE)

Da Wiki AI.
Versione del 3 apr 2024 alle 11:17 di Alesaccoia (discussione | contributi) (Creata pagina con "Una tecnica di tokenizzazione , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli transformer come GPT. === Links === https://huggingface.co/learn/nlp-course/chapter6/5#byte-pair-encoding-tokenization https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py")
(diff) ← Versione meno recente | Versione attuale (diff) | Versione più recente → (diff)

Una tecnica di tokenizzazione , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli transformer come GPT.

Links

https://huggingface.co/learn/nlp-course/chapter6/5#byte-pair-encoding-tokenization

https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py

Estratto da "https://wiki.mindmaker.it/index.php?title=Byte-Pair_Encoding_(BPE)&oldid=1756"