Procesamiento de textos usando NLP | básicos

import nltk

de bs4 importar BeautifulSoup

de urllib.request import urlopen

Alguna información básica sobre las bibliotecas anteriores:

• Biblioteca NLTK. Biblioteca nltk es una colección de bibliotecas y programas escritos para el procesamiento del idioma inglés y escritos en el lenguaje de programación Python.
• biblioteca urllib: es una biblioteca de procesamiento de URL para python... Obtenga más información sobre este urlopen ( " https://www.w3.org/TR/PNG/iso_8859-1.txt " ). leer ()

  Entonces los datos sin procesar se cargan en la variable sin procesar.

  Paso # 3: Luego procesamos los datos para eliminar todo html/tags xml que pueda estar presente en nuestra variable sin formato usando:

  
  

  < clase de código = "simple"> raw1 = BeautifulSoup (sin procesar)

# importar bibliotecas

import nltk

de bs4 import BeautifulSoup

de urllib.request importar urlopen

# extraer todo el contenido del texto expediente.

raw = urlopen ( " https: //www.w3.org/TR/PNG/iso_8859-1.txt " ). read ()

# eliminar todas las etiquetas html/xml

raw1 = BeautifulSoup (raw)

# obtener el texto presente en ' crudo '

raw2 = raw1.get_text()

# dividir el texto en palabras.

token = nltk.word_tokenize (raw2 )

texto2 = `` . unirse (token)