2010-12-08 14 views
1

양식 제출 후 웹 사이트를 크롤링하고 동적으로 생성 된 페이지에서 일부 정보를 추출해야합니다.동적 페이지가있는 웹 사이트 크롤링

크롤링해야하는 정보는 대부분이 사이트의 데이터베이스에서 가져온 것입니다.

추가됨 :

크롤러는 일반적으로 다른 하나의 하이퍼 링크에서 점프하여 작동합니다. 그래서 이들은 대부분 정적 페이지입니다. 정적으로 존재하지 않지만 즉석에서 생성 된 페이지를 크롤링하는 것은 어떨까요?

+0

좋습니다. 자세한 정보를 제공해 주시겠습니까? – leppie

+0

나는 또한 같은 문제가 있습니다. 어떻게 동적 웹 사이트를 얻을 수 있습니다. http://stackoverflow.com/questions/28085211/any-possiable-to-crawl-open-web-browser-data-using-aperture – BasK

답변

1

크롤러의 관점에서 보면 큰 차이가 없습니다. 당신은 여전히 ​​genrated HTML을 얻고 있습니다.

주의해야 할 점은 무한 수의 페이지로 연결되는 링크입니다 (예 : 캘린더는 동적으로 생성되며 다음/이전 달/연에 대한 링크가 있습니다.

관련 문제