Scrapyを使用して、AJAXを使用しているWebサイトから動的コンテンツをスクレイプできますか?

| | | | |

私は最近Pythonを学び、ウェブスクレーパーの構築に手を浸しています。それはまったく派手なことではありません。その唯一の目的は、賭けのWebサイトからデータを取得し、このデータをExcelに入れることです。

ほとんどの問題は解決可能であり、私は少ししか持っていません。ぐちゃぐちゃ。しかし、私は1つの問題で大きなハードルにぶつかっています。サイトが馬のテーブルをロードし、現在の賭け価格をリストしている場合、この情報はソースファイルにありません。手がかりは、このデータが時々ライブであり、数値が明らかに更新されていることです。いくつかのリモートサーバーから。私のPCのHTMLには、サーバーが必要なすべての興味深いデータをプッシュする穴があります。

動的なWebコンテンツの経験が少ないので、これは何かです。頭を動かすのに苦労しています。

JavaまたはJavascriptが重要だと思いますが、これは頻繁に表示されます。

スクレーパーは単なるオッズ比較エンジンです。一部のサイトにはAPIがありますが、そうでないサイトにはこれが必要です。Python2.7でscrapyライブラリを使用しています

この質問の自由度が高すぎる場合は、お詫び申し上げます。要するに、私の質問は、この動的データをスクレイプして使用できるようにするために、どのようにスクレイプを使用できるかということです。この賭けのオッズデータをリアルタイムでスクレイプできるようにするには?