Python NLTK | nltk.WhitespaceTokenizer

|

Utilizzando il metodo nltk.tokenize.WhitespaceTokenizer() possiamo estrarre token da una stringa di parole o frasi senza spazi , nuove e schede stringhe con tokenize.WhitespaceTokenizer() .

Sintassi: tokenize.WhitespaceTokenizer ()
Ritorno: Restituisci i token da una stringa

Esempio n. 1:
In questo esempio, vediamo che usando tokenize.WhitespaceTokenizer () possiamo estrarre i token dal flusso di parole.

# import WhitespaceTokenizer() metodo da nltk

from nltk . tokenizza import WhitespaceTokenizer


# Crea una variabile di riferimento per la classe WhitespaceTokenizer

tk = WhitespaceTokenizer ()


# Crea riga di input

gfg = "Python.Engineering è per fanatici "


# Usa il metodo di tokenizzazione

secchione = tk.tokenize (gfg)

print (geek)

Output:

[’GeeksforGeeks’, ’is’, ’for’, ’geeks’]

Esempio n. 2:

< /tr>

# importa il metodo WhitespaceTokenizer() da nltk

da nltk.tokenize import WhitespaceTokenizer


# Crea una variabile di riferimento per la classe WhitespaceTokenizer

tk = WhitespaceTokenizer ()


# Crea riga di input

gfg = "Il prezzo dell’hamburger in BurgerKing è Rs. 36. "


# Usa il metodo di tokenizzazione

secchione = tk.tokenize (gfg) < /p>

print (smanettone)

Output:

[’The’, ’ prezzo’, ’of’, ’burger’, ’in’, ’BurgerKing’, ’is’, ’Rs.36.’]

Shop

Learn programming in R: courses

$

Best Python online courses for 2022

$

Best laptop for Fortnite

$

Best laptop for Excel

$

Best laptop for Solidworks

$

Best laptop for Roblox

$

Best computer for crypto mining

$

Best laptop for Sims 4

$

Latest questions

NUMPYNUMPY

psycopg2: insert multiple rows with one query

12 answers

NUMPYNUMPY

How to convert Nonetype to int or string?

12 answers

NUMPYNUMPY

How to specify multiple return types using type-hints

12 answers

NUMPYNUMPY

Javascript Error: IPython is not defined in JupyterLab

12 answers

News


Wiki

Python OpenCV | cv2.putText () method

numpy.arctan2 () in Python

Python | os.path.realpath () method

Python OpenCV | cv2.circle () method

Python OpenCV cv2.cvtColor () method

Python - Move item to the end of the list

time.perf_counter () function in Python

Check if one list is a subset of another in Python

Python os.path.join () method