AJAX를 사용하는 웹사이트에서 동적 콘텐츠를 스크랩하는 데 scrapy를 사용할 수 있습니까?

| | | | |

저는 최근에 Python을 배우고 있으며 웹 스크레이퍼를 구축하는 데 손을 넣고 있습니다. 전혀 멋진 것이 아닙니다. 유일한 목적은 베팅 웹사이트에서 데이터를 가져와 이 데이터를 Excel에 저장하는 것입니다.

대부분의 문제는 해결할 수 있으며 약간의 여유가 있습니다. 어지럽히다. 그러나 한 가지 문제로 인해 큰 문제에 부딪혔습니다. 사이트가 말 테이블을 로드하고 현재 베팅 가격을 나열하는 경우 이 정보는 소스 파일에 없습니다. 단서는 이 데이터가 때때로 라이브이며 숫자가 분명히 업데이트된다는 것입니다. 일부 원격 서버에서. 내 PC의 HTML에는 서버가 내가 필요한 모든 흥미로운 데이터를 밀어넣는 구멍이 있습니다.

이제 동적 웹 콘텐츠에 대한 경험이 적기 때문에 이것이 문제입니다. 머리를 굴리는 데 문제가 있습니다.

자바나 자바스크립트가 핵심이라고 생각하는데, 이것은 자주 나타납니다.

스크레이퍼는 단순히 확률 비교 엔진입니다. 일부 사이트에는 API가 있지만 그렇지 않은 사이트에는 이것이 필요합니다. 저는 Python 2.7과 함께 scrapy 라이브러리를 사용하고 있습니다.

이 질문이 너무 개방적이라면 사과드립니다. 간단히 말해서 내 질문은: 어떻게 scrapy를 사용하여 이 동적 데이터를 스크랩하여 사용할 수 있습니까? 이 베팅 확률 데이터를 실시간으로 스크랩할 수 있도록 하시겠습니까?