Python NLTK | nltk.WhitespaceTokenizer

Utilizzando il metodo nltk.tokenize.WhitespaceTokenizer() possiamo estrarre token da una stringa di parole o frasi senza spazi , nuove e schede stringhe con tokenize.WhitespaceTokenizer() .

Sintassi: tokenize.WhitespaceTokenizer ()
Ritorno: Restituisci i token da una stringa

Esempio n. 1:
In questo esempio, vediamo che usando tokenize.WhitespaceTokenizer () possiamo estrarre i token dal flusso di parole.

# import WhitespaceTokenizer() metodo da nltk

from nltk . tokenizza import WhitespaceTokenizer


# Crea una variabile di riferimento per la classe WhitespaceTokenizer

tk = WhitespaceTokenizer ()


# Crea riga di input

gfg = "Python.Engineering è per fanatici "


# Usa il metodo di tokenizzazione

secchione = tk.tokenize (gfg)

print (geek)

Output:

[’GeeksforGeeks’, ’is’, ’for’, ’geeks’]

Esempio n. 2:

< /tr>

# importa il metodo WhitespaceTokenizer() da nltk

da nltk.tokenize import WhitespaceTokenizer


# Crea una variabile di riferimento per la classe WhitespaceTokenizer

tk = WhitespaceTokenizer ()


# Crea riga di input

gfg = "Il prezzo dell’hamburger in BurgerKing è Rs. 36. "


# Usa il metodo di tokenizzazione

secchione = tk.tokenize (gfg) < /p>

print (smanettone)

Output:

[’The’, ’ prezzo’, ’of’, ’burger’, ’in’, ’BurgerKing’, ’is’, ’Rs.36.’]

Ci auguriamo che questo articolo ti abbia aiutato a risolvere il problema. Oltre a Python NLTK | nltk.WhitespaceTokenizer, controlla altri argomenti relativi a Python functions.

Vuoi eccellere in Python? Consulta la nostra recensione dei migliori corsi online Python 2023. Se sei interessato alla scienza dei dati, controlla anche come imparare a programmare in R.

A proposito, questo materiale è disponibile anche in altre lingue:



Anna Porretti

Tallinn | 2023-02-07

Forse ci sono altre risposte? Cosa significa esattamente Python NLTK | nltk.WhitespaceTokenizer significa esattamente?. Controllato ieri, funziona!

Xu Galleotti

Tallinn | 2023-02-07

Forse ci sono altre risposte? Cosa significa esattamente Python NLTK | nltk.WhitespaceTokenizer significa esattamente?. Spero solo che non emerga più

Ken Williams

Milan | 2023-02-07

Python functions è tutto un po' confuso 😭 Python NLTK | nltk.WhitespaceTokenizer non è l'unico problema che ho riscontrato. Tornerò domani con un feedback

Shop

Gifts for programmers

Learn programming in R: courses

$FREE
Gifts for programmers

Best Python online courses for 2022

$FREE
Gifts for programmers

Best laptop for Fortnite

$399+
Gifts for programmers

Best laptop for Excel

$
Gifts for programmers

Best laptop for Solidworks

$399+
Gifts for programmers

Best laptop for Roblox

$399+
Gifts for programmers

Best computer for crypto mining

$499+
Gifts for programmers

Best laptop for Sims 4

$

Latest questions

PythonStackOverflow

Common xlabel/ylabel for matplotlib subplots

1947 answers

PythonStackOverflow

Check if one list is a subset of another in Python

1173 answers

PythonStackOverflow

How to specify multiple return types using type-hints

1002 answers

PythonStackOverflow

Printing words vertically in Python

909 answers

PythonStackOverflow

Python Extract words from a given string

798 answers

PythonStackOverflow

Why do I get "Pickle - EOFError: Ran out of input" reading an empty file?

606 answers

PythonStackOverflow

Python os.path.join () method

384 answers

PythonStackOverflow

Flake8: Ignore specific warning for entire file

360 answers

News


Wiki

Python | How to copy data from one Excel sheet to another

Common xlabel/ylabel for matplotlib subplots

Check if one list is a subset of another in Python

How to specify multiple return types using type-hints

Printing words vertically in Python

Python Extract words from a given string

Cyclic redundancy check in Python

Finding mean, median, mode in Python without libraries

Python add suffix / add prefix to strings in a list

Why do I get "Pickle - EOFError: Ran out of input" reading an empty file?

Python - Move item to the end of the list

Python - Print list vertically