Kann scrapy verwendet werden, um dynamische Inhalte von Websites zu schaben, die AJAX verwenden?

| | | | |

Ich habe vor kurzem Python gelernt und stecke meine Hand in den Bau eines Web-Scrapers. Es ist überhaupt nichts Besonderes; sein einziger Zweck ist es, die Daten von einer Wettwebsite zu bekommen und diese Daten in Excel zu übertragen.

Die meisten Probleme sind lösbar und ich habe ein gutes bisschen herum albern. Allerdings stoße ich bei einem Problem auf eine massive Hürde. Wenn eine Website eine Tabelle mit Pferden lädt und aktuelle Wettpreise auflistet, sind diese Informationen in keiner Quelldatei enthalten. Der Hinweis ist, dass diese Daten manchmal live sind, wobei die Zahlen offensichtlich aktualisiert werden von einem entfernten Server. Der HTML-Code auf meinem PC hat einfach ein Loch, wo ihre Server all die interessanten Daten durchschieben, die ich brauche.

Nun, meine Erfahrung mit dynamischen Webinhalten ist gering, also ist dieses Ding etwas Ich habe Probleme, mich zurechtzufinden.

Ich denke, Java oder Javascript ist ein Schlüssel, das taucht oft auf.

Der Scraper ist einfach eine Quotenvergleichsmaschine. Einige Websites haben APIs, aber ich brauche diese für diejenigen, die dies nicht tun. Ich verwende die Scrapy-Bibliothek mit Python 2.7

Ich entschuldige mich, wenn diese Frage zu offen ist. Kurz gesagt, meine Frage lautet: Wie kann Scrapy verwendet werden, um diese dynamischen Daten zu scrapen, damit ich sie verwenden kann? Damit ich diese Wettquotendaten in Echtzeit abrufen kann?