Python NLTK | nltk.WhitespaceTokenizer

Michael Zippo

Utilizzando il metodo nltk.tokenize.WhitespaceTokenizer() possiamo estrarre token da una stringa di parole o frasi senza spazi , nuove e schede stringhe con tokenize.WhitespaceTokenizer() .

Sintassi: tokenize.WhitespaceTokenizer ()
Ritorno: Restituisci i token da una stringa

Esempio n. 1:
In questo esempio, vediamo che usando tokenize.WhitespaceTokenizer () possiamo estrarre i token dal flusso di parole.

# import WhitespaceTokenizer() metodo da nltk

from nltk . tokenizza import WhitespaceTokenizer

# Crea una variabile di riferimento per la classe WhitespaceTokenizer

tk = WhitespaceTokenizer ()

# Crea riga di input

gfg = "Python.Engineering è per fanatici "

# Usa il metodo di tokenizzazione

secchione = tk.tokenize (gfg)

print (geek)

Output:

[’GeeksforGeeks’, ’is’, ’for’, ’geeks’]

Esempio n. 2:

< /tr>

# importa il metodo WhitespaceTokenizer() da nltk

da nltk.tokenize import WhitespaceTokenizer

# Crea una variabile di riferimento per la classe WhitespaceTokenizer

tk = WhitespaceTokenizer ()

# Crea riga di input

gfg = "Il prezzo dell’hamburger in BurgerKing è Rs. 36. "

# Usa il metodo di tokenizzazione

secchione = tk.tokenize (gfg) < /p>

print (smanettone)

Output:

[’The’, ’ prezzo’, ’of’, ’burger’, ’in’, ’BurgerKing’, ’is’, ’Rs.36.’]

Ci auguriamo che questo articolo ti abbia aiutato a risolvere il problema. Oltre a Python NLTK | nltk.WhitespaceTokenizer, controlla altri argomenti relativi a Python functions.

Vuoi eccellere in Python? Consulta la nostra recensione dei migliori corsi online Python 2023. Se sei interessato alla scienza dei dati, controlla anche come imparare a programmare in R.

A proposito, questo materiale è disponibile anche in altre lingue:

Anna Porretti

Tallinn | 2023-02-07

Forse ci sono altre risposte? Cosa significa esattamente Python NLTK | nltk.WhitespaceTokenizer significa esattamente?. Controllato ieri, funziona!

Xu Galleotti

Tallinn | 2023-02-07

Forse ci sono altre risposte? Cosa significa esattamente Python NLTK | nltk.WhitespaceTokenizer significa esattamente?. Spero solo che non emerga più

Ken Williams

Milan | 2023-02-07

Python functions è tutto un po' confuso 😭 Python NLTK | nltk.WhitespaceTokenizer non è l'unico problema che ho riscontrato. Tornerò domani con un feedback