Utilizzando il metodo nltk.tokenize.WhitespaceTokenizer() possiamo estrarre token da una stringa di parole o frasi senza spazi , nuove e schede stringhe con tokenize.WhitespaceTokenizer() .
Sintassi: tokenize.WhitespaceTokenizer ()
Ritorno: Restituisci i token da una stringa
Esempio n. 1:
In questo esempio, vediamo che usando tokenize.WhitespaceTokenizer () possiamo estrarre i token dal flusso di parole.
| # import WhitespaceTokenizer() metodo da nltk from nltk . tokenizza import WhitespaceTokenizer
# Crea una variabile di riferimento per la classe WhitespaceTokenizer tk = WhitespaceTokenizer ()
# Crea riga di input gfg = "Python.Engineering è per fanatici "
# Usa il metodo di tokenizzazione secchione = tk.tokenize (gfg) print (geek) |
Output:
[’GeeksforGeeks’, ’is’, ’for’, ’geeks’]
Esempio n. 2:
| # importa il metodo WhitespaceTokenizer() da nltk da nltk.tokenize import WhitespaceTokenizer
# Crea una variabile di riferimento per la classe WhitespaceTokenizer tk = WhitespaceTokenizer ()
# Crea riga di input gfg = "Il prezzo dell’hamburger in BurgerKing è Rs. 36. "
# Usa il metodo di tokenizzazione secchione = tk.tokenize (gfg) < /p> print (smanettone) | < /tr>
Output:
[’The’, ’ prezzo’, ’of’, ’burger’, ’in’, ’BurgerKing’, ’is’, ’Rs.36.’]
