SentencePiece - Cronologia

Mindmakerbot il 13:47, 17 ago 2024

2024-08-17T13:47:05Z

← Versione meno recente		Versione delle 13:47, 17 ago 2024
Riga 8:		Riga 8:
	\|title=SentencePiece		\|title=SentencePiece
	\|title_mode=append		\|title_mode=append
	\|keywords="tokenizer, modello multilingue, Wordpiece, subword, Unigram, Unicode, giapponese, whitespace"		\|keywords=tokenizer, modello multilingue, Wordpiece, subword, Unigram, Unicode, giapponese, whitespace
	\|description="SentencePiece è un tipo di tokenizer basato sulla segmentazione subword Unigram, utilizzato soprattutto nei modelli multilingua. Codifica ogni testo in input come una sequenza di caratteri Unicode, risultando così agnostico ad accenti, punteggiatura e all'assenza di spazi bianchi in lingue come il giapponese."		\|description=SentencePiece è un tipo di tokenizer basato sulla segmentazione subword Unigram, utilizzato soprattutto nei modelli multilingua. Codifica ogni testo in input come una sequenza di caratteri Unicode, risultando così agnostico ad accenti, punteggiatura e all'assenza di spazi bianchi in lingue come il giapponese.
	}}		}}

Mindmakerbot il 13:31, 17 ago 2024

2024-08-17T13:31:09Z

← Versione meno recente		Versione delle 13:31, 17 ago 2024
Riga 4:		Riga 4:
	}}		}}
	Tipo di [[tokenizer]] spesso utilizzato nei modelli multilingua, a differenza di [[Wordpiece]].<blockquote>The SentencePiece tokenizer is based on a type of subword segmentation called Unigram and encodes each input text as a sequence of Unicode characters. This last feature is especially useful for multilingual corpora since it allows SentencePiece to be agnostic about accents, punctuation, and the fact that many languages, like Japanese, do not have whitespace characters. Another special feature of SentencePiece is that whitespace is assigned the Unicode symbol U+2581, or the character, also called the lower one quarter block character. (Natural Language Processing with Transformers_ Building Language Applications with Hugging Face)</blockquote>		Tipo di [[tokenizer]] spesso utilizzato nei modelli multilingua, a differenza di [[Wordpiece]].<blockquote>The SentencePiece tokenizer is based on a type of subword segmentation called Unigram and encodes each input text as a sequence of Unicode characters. This last feature is especially useful for multilingual corpora since it allows SentencePiece to be agnostic about accents, punctuation, and the fact that many languages, like Japanese, do not have whitespace characters. Another special feature of SentencePiece is that whitespace is assigned the Unicode symbol U+2581, or the character, also called the lower one quarter block character. (Natural Language Processing with Transformers_ Building Language Applications with Hugging Face)</blockquote>

			{{#seo:
			\|title=SentencePiece
			\|title_mode=append
			\|keywords="tokenizer, modello multilingue, Wordpiece, subword, Unigram, Unicode, giapponese, whitespace"
			\|description="SentencePiece è un tipo di tokenizer basato sulla segmentazione subword Unigram, utilizzato soprattutto nei modelli multilingua. Codifica ogni testo in input come una sequenza di caratteri Unicode, risultando così agnostico ad accenti, punteggiatura e all'assenza di spazi bianchi in lingue come il giapponese."
			}}

Mindmakerbot il 11:20, 17 ago 2024

2024-08-17T11:20:31Z

← Versione meno recente		Versione delle 11:20, 17 ago 2024
Riga 1:		Riga 1:
	{{Template concetto		{{Template concetto
	\|NomeInglese=SentencePiece		\|NomeInglese=SentencePiece
			\|Sigla=SP
	}}		}}
	Tipo di [[tokenizer]] spesso utilizzato nei modelli multilingua, a differenza di [[Wordpiece]].<blockquote>The SentencePiece tokenizer is based on a type of subword segmentation called Unigram and encodes each input text as a sequence of Unicode characters. This last feature is especially useful for multilingual corpora since it allows SentencePiece to be agnostic about accents, punctuation, and the fact that many languages, like Japanese, do not have whitespace characters. Another special feature of SentencePiece is that whitespace is assigned the Unicode symbol U+2581, or the ▁ character, also called the lower one quarter block character. (Natural Language Processing with Transformers_ Building Language Applications with Hugging Face)</blockquote>		Tipo di [[tokenizer]] spesso utilizzato nei modelli multilingua, a differenza di [[Wordpiece]].<blockquote>The SentencePiece tokenizer is based on a type of subword segmentation called Unigram and encodes each input text as a sequence of Unicode characters. This last feature is especially useful for multilingual corpora since it allows SentencePiece to be agnostic about accents, punctuation, and the fact that many languages, like Japanese, do not have whitespace characters. Another special feature of SentencePiece is that whitespace is assigned the Unicode symbol U+2581, or the character, also called the lower one quarter block character. (Natural Language Processing with Transformers_ Building Language Applications with Hugging Face)</blockquote>

Alesaccoia il 20:05, 7 lug 2024

2024-07-07T20:05:05Z

← Versione meno recente		Versione delle 20:05, 7 lug 2024
Riga 2:		Riga 2:
	\|NomeInglese=SentencePiece		\|NomeInglese=SentencePiece
	}}		}}
	Tipo di [[tokenizer]] spesso utilizzato nei modelli multilingua, a differenza di [[Wordpiece]].		Tipo di [[tokenizer]] spesso utilizzato nei modelli multilingua, a differenza di [[Wordpiece]].<blockquote>The SentencePiece tokenizer is based on a type of subword segmentation called Unigram and encodes each input text as a sequence of Unicode characters. This last feature is especially useful for multilingual corpora since it allows SentencePiece to be agnostic about accents, punctuation, and the fact that many languages, like Japanese, do not have whitespace characters. Another special feature of SentencePiece is that whitespace is assigned the Unicode symbol U+2581, or the ▁ character, also called the lower one quarter block character. (Natural Language Processing with Transformers_ Building Language Applications with Hugging Face)</blockquote>

Alesaccoia il 20:02, 7 lug 2024

2024-07-07T20:02:55Z

← Versione meno recente		Versione delle 20:02, 7 lug 2024
Riga 2:		Riga 2:
	\|NomeInglese=SentencePiece		\|NomeInglese=SentencePiece
	}}		}}
	Tipo di		Tipo di [[tokenizer]] spesso utilizzato nei modelli multilingua, a differenza di [[Wordpiece]].

Alesaccoia: Creata pagina con "{{Template concetto |NomeInglese=SentencePiece }} Tipo di"

2024-07-07T20:02:00Z

Creata pagina con "{{Template concetto |NomeInglese=SentencePiece }} Tipo di"

Nuova pagina

{{Template concetto
|NomeInglese=SentencePiece
}}
Tipo di