AJAX kullanan web sitelerinden dinamik içeriği sıyırmak için scrapy kullanılabilir mi?

| | | | |

Son zamanlarda Python öğreniyorum ve bir web kazıyıcı oluşturmaya çalışıyorum. Hiç de hoş bir şey değil; tek amacı verileri bir bahis sitesinden almak ve bu verileri Excel'e koymaktır.

Sorunların çoğu çözülebilir ve ben biraz iyiyim. ortalığı karıştırmak Ancak bir konuda büyük bir engelle karşılaşıyorum. Bir site bir at tablosu yüklerse ve mevcut bahis fiyatlarını listelerse, bu bilgi herhangi bir kaynak dosyada değildir. Buradaki ipucu, bu verilerin bazen canlı olduğu ve sayıların açıkça güncellendiğidir. uzak bir sunucudan. Bilgisayarımdaki HTML'de, sunucularının ihtiyacım olan tüm ilginç verileri zorladığı bir boşluk var.

Dinamik web içeriğiyle ilgili deneyimim düşük, yani bu bir şey Kafamı toparlamakta zorlanıyorum.

Java veya Javascript'in bir anahtar olduğunu düşünüyorum, bu sık sık karşımıza çıkıyor.

Ssıyırıcı basitçe bir oran karşılaştırma motorudur. Bazı sitelerin API'leri var ama buna ihtiyacı olmayanlar için buna ihtiyacım var. Python 2.7 ile scrapy kitaplığını kullanıyorum

Bu soru fazla açık uçluysa özür dilerim. Kısacası sorum şu: Scrapy bu dinamik verileri sıyırıp kullanabilmem için nasıl kullanılabilir? Bu bahis oranları verilerini gerçek zamanlı olarak kazıyabilmem için mi?