可以使用 scrapy 從使用 AJAX 的網站中抓取動態內容嗎?

| | | | |

我最近一直在學習 Python,並且正在著手構建一個網絡爬蟲。這一點都不花哨;它的唯一目的是從博彩網站上獲取數據並將這些數據放入 Excel。

大多數問題都是可以解決的,而且我的情況還不錯亂來。但是,我在一個問題上遇到了一個巨大的障礙。如果一個網站加載了一張馬匹表格並列出了當前的投注價格,則此信息不在任何源文件中。線索是這些數據有時是實時的,數字顯然會更新來自某個遠程服務器。我 PC 上的 HTML 只是有一個漏洞,他們的服務器正在推送我需要的所有有趣數據。

現在我對動態 Web 內容的體驗很低,所以這件事很重要我很難轉過頭來。

我認為Java或Javascript是一個關鍵,這個經常彈出。

刮板只是一個賠率比較引擎。有些網站有 API,但對於那些沒有的網站,我需要它。我正在使用帶有 Python 2.7 的 scrapy 庫

如果這個問題過於開放,我深表歉意。簡而言之,我的問題是:如何使用scrapy來抓取這些動態數據,以便我可以使用它?這樣我就可以實時抓取這些投注賠率數據?