동적 데이터 스크래핑

Question

연구 질문을 위해 ask.fm에서 프로파일을 스크랩하고 있습니다. 문제는 상단 가장 최근의 질문을 볼 수있는 것을 내가 같이보기보다 외모를 클릭에 대한 다음 15

소스 코드를보고 "더보기"를 클릭해야합니다 :

<input class="submit-button-more submit-button-more-active" name="commit" onclick="return Forms.More.allowSubmit(this)" type="submit" value="View more" /> 

무엇 그것을 긁기 전에 이것을 4 번 부르면됩니다. 사이트에 가장 최근 60 개의 게시물이 필요합니다. 파이썬이 바람직합니다.

Answer 1

셀레늄을 사용하여 웹 사이트를 탐색하고 버튼/링크를 몇 번 클릭 할 수 있습니다.

• https://pypi.python.org/pypi/selenium

또는 당신은 기계화와 함께 할 수 있습니다 : 당신은 여기에서 얻을 수 있습니다 나는 또한에 대해 좋은 것들을 들었습니다

• http://wwwsearch.sourceforge.net/mechanize/

능 직물, 그러나 결코 그것을 결코 사용하지 않았다 :

• http://twill.idyll.org/