È possibile utilizzare scrapy per acquisire contenuti dinamici da siti Web che utilizzano AJAX?

| | | | |

Recentemente sto imparando Python e sto mettendo mano alla costruzione di un web-scraper. Non è niente di speciale; il suo unico scopo è quello di togliere i dati da un sito di scommesse e avere questi dati inseriti in Excel.

La maggior parte dei problemi sono risolvibili e sto avendo un bel po' pasticciare. Tuttavia sto incontrando un enorme ostacolo su un problema. Se un sito carica una tabella di cavalli ed elenca i prezzi delle scommesse attuali, queste informazioni non sono in nessun file sorgente. L'indizio è che questi dati a volte sono attivi, con i numeri ovviamente aggiornati da un server remoto. L'HTML sul mio PC ha semplicemente un buco in cui i loro server stanno inviando tutti i dati interessanti di cui ho bisogno.

Ora la mia esperienza con i contenuti web dinamici è bassa, quindi questa cosa è qualcosa Sto avendo problemi a girare la testa.

Penso che Java o Javascript siano una chiave, questo compare spesso.

Lo scraper è semplicemente un motore di confronto delle quote. Alcuni siti hanno API ma ne ho bisogno per quelli che non lo fanno. Sto usando la libreria scrapy con Python 2.7

Mi scuso se questa domanda è troppo aperta. In breve, la mia domanda è: come si può usare scrapy per raschiare questi dati dinamici in modo che io possa usarli? In modo da poter acquisire questi dati sulle quote di scommessa in tempo reale?

Ci auguriamo che questo articolo ti abbia aiutato a risolvere il problema. Oltre a È possibile utilizzare scrapy per acquisire contenuti dinamici da siti Web che utilizzano AJAX?, controlla altri argomenti relativi a around.

Vuoi eccellere in Python? Consulta la nostra recensione dei migliori corsi online Python 2022. Se sei interessato alla scienza dei dati, controlla anche come imparare a programmare in R.

A proposito, questo materiale è disponibile anche in altre lingue:



Manuel Ungerschaft

San Francisco | 2022-11-29

Grazie per le spiegazioni! Sono rimasto bloccato con È possibile utilizzare scrapy per acquisire contenuti dinamici da siti Web che utilizzano AJAX? per alcune ore, finalmente l'ho fatto 🤗. Lo userò nella mia tesi di laurea

Cornwall OConnell

Vigrinia | 2022-11-29

Forse ci sono altre risposte? Cosa significa esattamente È possibile utilizzare scrapy per acquisire contenuti dinamici da siti Web che utilizzano AJAX? significa esattamente?. Non sono proprio sicuro che sia il metodo migliore

Davies OConnell

Munchen | 2022-11-29

Mi stavo preparando per il mio colloquio di codifica, grazie per aver chiarito questo punto - È possibile utilizzare scrapy per acquisire contenuti dinamici da siti Web che utilizzano AJAX? in Python non è il più semplice. Tornerò domani con un feedback

Shop

Learn programming in R: courses

$

Best Python online courses for 2022

$

Best laptop for Fortnite

$

Best laptop for Excel

$

Best laptop for Solidworks

$

Best laptop for Roblox

$

Best computer for crypto mining

$

Best laptop for Sims 4

$

Latest questions

NUMPYNUMPY

Common xlabel/ylabel for matplotlib subplots

12 answers

NUMPYNUMPY

How to specify multiple return types using type-hints

12 answers

NUMPYNUMPY

Why do I get "Pickle - EOFError: Ran out of input" reading an empty file?

12 answers

NUMPYNUMPY

Flake8: Ignore specific warning for entire file

12 answers

NUMPYNUMPY

glob exclude pattern

12 answers

NUMPYNUMPY

How to avoid HTTP error 429 (Too Many Requests) python

12 answers

NUMPYNUMPY

Python CSV error: line contains NULL byte

12 answers

NUMPYNUMPY

csv.Error: iterator should return strings, not bytes

12 answers

News


Wiki

Python | How to copy data from one Excel sheet to another

Common xlabel/ylabel for matplotlib subplots

Check if one list is a subset of another in Python

sin

How to specify multiple return types using type-hints

exp

Printing words vertically in Python

exp

Python Extract words from a given string

Cyclic redundancy check in Python

Finding mean, median, mode in Python without libraries

cos

Python add suffix / add prefix to strings in a list

Why do I get "Pickle - EOFError: Ran out of input" reading an empty file?

Python - Move item to the end of the list

Python - Print list vertically