Kan scrapy worden gebruikt om dynamische inhoud te schrapen van websites die AJAX gebruiken?

| | | | |

Ik heb onlangs Python geleerd en ben bezig met het bouwen van een webschraper. Het is helemaal niets bijzonders; het enige doel is om de gegevens van een gokwebsite te halen en deze gegevens in Excel te laten zetten.

De meeste problemen zijn oplosbaar en ik heb een goede rotzooien. Ik loop echter tegen een enorme hindernis aan over één probleem. Als een site een tabel met paarden laadt en de huidige gokprijzen vermeldt, staat deze informatie niet in een bronbestand. De aanwijzing is dat deze gegevens soms live zijn, waarbij de cijfers duidelijk worden bijgewerkt van een externe server. De HTML op mijn pc heeft gewoon een gat waar hun servers alle interessante gegevens die ik nodig heb doorduwen.

Nu is mijn ervaring met dynamische webinhoud laag, dus dit is iets Ik heb moeite om mijn hoofd erbij te houden.

Ik denk dat Java of Javascript een sleutel is, dit komt vaak voor.

De schraper is gewoon een motor voor het vergelijken van kansen. Sommige sites hebben API's, maar ik heb dit nodig voor degenen die dat niet hebben. Ik gebruik de scrapy-bibliotheek met Python 2.7

Mijn excuses als deze vraag te open is. Kortom, mijn vraag is: hoe kan scrapy worden gebruikt om deze dynamische gegevens te schrapen zodat ik deze kan gebruiken? Zodat ik deze wedkansengegevens in realtime kan verzamelen?

We hopen dat dit artikel u heeft geholpen om het probleem op te lossen. Bekijk naast Kan scrapy worden gebruikt om dynamische inhoud te schrapen van websites die AJAX gebruiken? ook andere around-gerelateerde onderwerpen.

Wilt u uitblinken in Python? Bekijk onze recensie van de  beste online Python-cursussen 2022. Als je geïnteresseerd bent in Data Science, bekijk dan ook hoe je programmeert in R.

Trouwens, dit materiaal is ook beschikbaar in andere talen:



Javier Nickolson

Vigrinia | 2022-11-29

sin is alles een beetje verwarrend 😭 Kan scrapy worden gebruikt om dynamische inhoud te schrapen van websites die AJAX gebruiken? is niet het enige probleem dat ik tegenkwam. Kom morgen terug met feedback

Davies Richtgofen

Munchen | 2022-11-29

Ik was me aan het voorbereiden op mijn coderingsinterview, bedankt voor de verduidelijking - Kan scrapy worden gebruikt om dynamische inhoud te schrapen van websites die AJAX gebruiken? in Python is niet de eenvoudigste. Zal het gebruiken in mijn bachelorscriptie

Olivia Sikorski

Texas | 2022-11-29

sin is alles een beetje verwarrend 😭 Kan scrapy worden gebruikt om dynamische inhoud te schrapen van websites die AJAX gebruiken? is niet het enige probleem dat ik tegenkwam. Ik weet alleen niet zeker of dit de beste methode is

Shop

Learn programming in R: courses

$

Best Python online courses for 2022

$

Best laptop for Fortnite

$

Best laptop for Excel

$

Best laptop for Solidworks

$

Best laptop for Roblox

$

Best computer for crypto mining

$

Best laptop for Sims 4

$

Latest questions

NUMPYNUMPY

Common xlabel/ylabel for matplotlib subplots

12 answers

NUMPYNUMPY

How to specify multiple return types using type-hints

12 answers

NUMPYNUMPY

Why do I get "Pickle - EOFError: Ran out of input" reading an empty file?

12 answers

NUMPYNUMPY

Flake8: Ignore specific warning for entire file

12 answers

NUMPYNUMPY

glob exclude pattern

12 answers

NUMPYNUMPY

How to avoid HTTP error 429 (Too Many Requests) python

12 answers

NUMPYNUMPY

Python CSV error: line contains NULL byte

12 answers

NUMPYNUMPY

csv.Error: iterator should return strings, not bytes

12 answers

News


Wiki

Python | How to copy data from one Excel sheet to another

Common xlabel/ylabel for matplotlib subplots

Check if one list is a subset of another in Python

sin

How to specify multiple return types using type-hints

exp

Printing words vertically in Python

exp

Python Extract words from a given string

Cyclic redundancy check in Python

Finding mean, median, mode in Python without libraries

cos

Python add suffix / add prefix to strings in a list

Why do I get "Pickle - EOFError: Ran out of input" reading an empty file?

Python - Move item to the end of the list

Python - Print list vertically