scrapy pode ser usado para extrair conteúdo dinâmico de sites que usam AJAX?

| | | | |

Recentemente, estou aprendendo Python e estou mergulhando na construção de um web-scraper. Não é nada extravagante; seu único objetivo é obter os dados de um site de apostas e colocar esses dados no Excel.

A maioria dos problemas são solucionáveis e estou tendo um bom perder tempo. No entanto, estou enfrentando um grande obstáculo em um problema. Se um site carrega uma tabela de cavalos e lista os preços atuais das apostas, essa informação não está em nenhum arquivo de origem. A pista é que esses dados às vezes estão ativos, com os números sendo atualizados obviamente de algum servidor remoto. O HTML no meu PC simplesmente tem um buraco onde seus servidores estão enviando todos os dados interessantes que eu preciso.

Agora minha experiência com conteúdo dinâmico da Web é baixa, então isso é algo Estou tendo problemas para colocar minha cabeça ao redor.

Acho que Java ou Javascript é uma chave, isso aparece com frequência.

O raspador é simplesmente um mecanismo de comparação de probabilidades. Alguns sites têm APIs, mas eu preciso disso para aqueles que não têm. Estou usando a biblioteca scrapy com Python 2.7

Peço desculpas se esta pergunta for muito aberta. Resumindo, minha pergunta é: como o scrapy pode ser usado para raspar esses dados dinâmicos para que eu possa usá-los? Para que eu possa extrair esses dados de probabilidades de apostas em tempo real?