Можно ли использовать scrapy для извлечения динамического контента с веб-сайтов, использующих AJAX?

| | | | |

Недавно я изучаю Python и начинаю создавать веб-скрейпер. В этом нет ничего особенного; его единственная цель — получить данные с веб-сайта для ставок и поместить эти данные в Excel.

Большинство проблем решаемы, и я немного развлекаюсь. возиться. Однако я столкнулся с серьезным препятствием из-за одной проблемы. Если сайт загружает таблицу лошадей и перечисляет текущие коэффициенты ставок, этой информации нет ни в одном исходном файле. Подсказка заключается в том, что эти данные иногда обновляются, и числа, очевидно, обновляются. с какого-то удаленного сервера. HTML на моем ПК просто имеет дыру, через которую их серверы проталкивают все интересные данные, которые мне нужны.

Теперь мой опыт работы с динамическим веб-контентом невелик, так что это что-то У меня проблемы с головой.

Я думаю, что Java или Javascript — это ключ, это часто всплывает.

Парсер — это просто механизм сравнения шансов. На некоторых сайтах есть API, но мне это нужно для тех, у кого их нет. Я использую библиотеку scrapy с Python 2.7

Я прошу прощения, если этот вопрос слишком открытый. Короче говоря, мой вопрос: как можно использовать scrapy для очистки этих динамических данных, чтобы я мог их использовать? Чтобы я мог собирать эти данные о коэффициентах ставок в режиме реального времени?