¿Se puede usar scrapy para extraer contenido dinámico de sitios web que usan AJAX?

| | | | |

Recientemente he estado aprendiendo Python y estoy sumergiendo mi mano en la construcción de un web-scraper. No es nada lujoso en absoluto; su único propósito es obtener los datos de un sitio web de apuestas y poner estos datos en Excel.

La mayoría de los problemas se pueden resolver y estoy teniendo un buen perder el tiempo. Sin embargo, me estoy enfrentando a un gran obstáculo con un problema. Si un sitio carga una tabla de caballos y enumera los precios de apuestas actuales, esta información no está en ningún archivo fuente. La pista es que estos datos están en vivo a veces, y los números se actualizan obviamente. desde algún servidor remoto. El HTML en mi PC simplemente tiene un agujero donde sus servidores están enviando todos los datos interesantes que necesito.

Ahora mi experiencia con contenido web dinámico es baja, por lo que esto es algo Tengo problemas para entender mi cabeza.

Creo que Java o Javascript es una clave, esto aparece a menudo.

El raspador es simplemente un motor de comparación de probabilidades. Algunos sitios tienen API, pero necesito esto para aquellos que no las tienen. Estoy usando la biblioteca scrapy con Python 2.7

Me disculpo si esta pregunta es demasiado abierta. En resumen, mi pregunta es: ¿cómo se puede usar scrapy para raspar estos datos dinámicos para que yo pueda usarlos? ¿Para poder recopilar estos datos de probabilidades de apuestas en tiempo real?

Esperamos que este artículo le haya ayudado a resolver el problema. Además de ¿Se puede usar scrapy para extraer contenido dinámico de sitios web que usan AJAX?, consulta otros temas relacionados con around.

¿Quiere sobresalir en Python? Consulte nuestra reseña de los mejores cursos en línea de Python 2022. Si está interesado en Data Science, consulte también cómo aprender programación en R.

Por cierto, este material también está disponible en otros idiomas:



Oliver Danburry

San Francisco | 2022-11-29

¿Tal vez haya otras respuestas? ¿Qué significa el ¿Se puede usar scrapy para extraer contenido dinámico de sitios web que usan AJAX? significa exactamente?. Simplemente no estoy muy seguro de que sea el mejor método

Frank Danburry

Shanghai | 2022-11-29

Gracias por la explicación. Estuve atascado con el ¿Se puede usar scrapy para extraer contenido dinámico de sitios web que usan AJAX? durante algunas horas, finalmente lo conseguí 🤗. Comprobado ayer, ¡funciona!

Manuel Robinson

Paris | 2022-11-29

Gracias por la explicación. Estuve atascado con el ¿Se puede usar scrapy para extraer contenido dinámico de sitios web que usan AJAX? durante algunas horas, finalmente lo conseguí 🤗. Simplemente no estoy muy seguro de que sea el mejor método

Shop

Learn programming in R: courses

$

Best Python online courses for 2022

$

Best laptop for Fortnite

$

Best laptop for Excel

$

Best laptop for Solidworks

$

Best laptop for Roblox

$

Best computer for crypto mining

$

Best laptop for Sims 4

$

Latest questions

NUMPYNUMPY

Common xlabel/ylabel for matplotlib subplots

12 answers

NUMPYNUMPY

How to specify multiple return types using type-hints

12 answers

NUMPYNUMPY

Why do I get "Pickle - EOFError: Ran out of input" reading an empty file?

12 answers

NUMPYNUMPY

Flake8: Ignore specific warning for entire file

12 answers

NUMPYNUMPY

glob exclude pattern

12 answers

NUMPYNUMPY

How to avoid HTTP error 429 (Too Many Requests) python

12 answers

NUMPYNUMPY

Python CSV error: line contains NULL byte

12 answers

NUMPYNUMPY

csv.Error: iterator should return strings, not bytes

12 answers

News


Wiki

Python | How to copy data from one Excel sheet to another

Common xlabel/ylabel for matplotlib subplots

Check if one list is a subset of another in Python

sin

How to specify multiple return types using type-hints

exp

Printing words vertically in Python

exp

Python Extract words from a given string

Cyclic redundancy check in Python

Finding mean, median, mode in Python without libraries

cos

Python add suffix / add prefix to strings in a list

Why do I get "Pickle - EOFError: Ran out of input" reading an empty file?

Python - Move item to the end of the list

Python - Print list vertically