Byte-Pair Encoding (BPE): differenze tra le versioni

Versione delle 11:17, 3 apr 2024

Una tecnica di tokenizzazione , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli transformer come GPT.

Versione delle 11:17, 3 apr 2024 (Visualizza sorgente) Alesaccoia (discussione \| contributi) (Creata pagina con "Una tecnica di tokenizzazione , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli transformer come GPT. === Links === https://huggingface.co/learn/nlp-course/chapter6/5#byte-pair-encoding-tokenization https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py") Etichetta: Modifica visuale		Versione delle 11:17, 3 apr 2024 (Visualizza sorgente) Alesaccoia (discussione \| contributi) Nessun oggetto della modifica Differenza successiva →
Riga 5:		Riga 5:

	https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py		https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py

			[[Category:concetto]]