Vai al contenuto

Visualizza wikitesto di Byte-Pair Encoding (BPE)

← Byte-Pair Encoding (BPE)

Non si dispone dei permessi necessari per modificare questa pagina, per il seguente motivo:

La funzione richiesta è riservata agli utenti che appartengono al gruppo: Utenti.

È possibile visualizzare e copiare il codice sorgente di questa pagina.

Una tecnica di [[tokenizzazione]] , inventata originariamente per comprimere i testi, utilizzata spesso nei modelli [[transformer]] come [[GPT]].

=== Links ===
https://huggingface.co/learn/nlp-course/chapter6/5#byte-pair-encoding-tokenization

https://github.com/karpathy/minGPT/blob/master/mingpt/bpe.py

[[Category:concetto]]

Template utilizzato in questa pagina:

Template:Template concetto (visualizza wikitesto)

Torna a Byte-Pair Encoding (BPE).

Estratto da "https://wiki.mindmaker.it/index.php/Byte-Pair_Encoding_(BPE)"