Czy scrapy można używać do usuwania dynamicznej zawartości z witryn internetowych korzystających z technologii AJAX?

| | | | |

Niedawno uczę się Pythona i zanurzam się w tworzeniu web-scrapera. To w ogóle nic nadzwyczajnego; jego jedynym celem jest pobranie danych z witryny bukmacherskiej i umieszczenie tych danych w programie Excel.

Większość problemów można rozwiązać i mam trochę bałaganić. Jednak napotykam ogromną przeszkodę w jednym problemie. Jeśli witryna ładuje tabelę koni i wyświetla aktualne ceny zakładów, ta informacja nie znajduje się w żadnym pliku źródłowym. Wskazówka jest taka, że te dane są czasami aktualne, a liczby są oczywiście aktualizowane z jakiegoś zdalnego serwera. HTML na moim komputerze ma po prostu dziurę, przez którą ich serwery przepychają wszystkie interesujące dane, których potrzebuję.

Teraz moje doświadczenie z dynamiczną zawartością sieciową jest niewielkie, więc to jest coś Mam problem z poruszaniem się po głowie.

Myślę, że Java lub Javascript to klucz, to się często wyskakuje.

Skrobaczka jest po prostu porównywarką kursów. Niektóre witryny mają interfejsy API, ale potrzebuję tego dla tych, które tego nie robią. Używam biblioteki scrapy w Pythonie 2.7

Przepraszam, jeśli to pytanie jest zbyt otwarte. Krótko mówiąc, moje pytanie brzmi: jak można użyć scrapy do skrobania tych dynamicznych danych, abym mógł z nich korzystać? Abym mógł przeszukiwać dane kursów zakładów w czasie rzeczywistym?