파이어 폭스로 파이썬 웹 사이트 긁기?

Question

나는 웹 사이트를 긁어 내려고하지만, 얻고 자하는 것이 소스 코드에 없다. 하지만 방화범을 쓸 때 나타납니다. 소스 코드와 달리 방화 광 코드에서 긁어 모으는 방법이 있습니까?

Answer 1

. 프로그래밍 방식으로 브라우저 외부에서 잡으려면 JavaScript를 렌더링해야합니다. 쉽지 않습니다. 그래도 Greasemonkey 스크립트를 실행하여 렌더링 후 긁을 수 있어야합니다. http://blog.nparashuram.com/2009/08/screen-scraping-with-javascript-firebug.html을 참조하십시오.

Answer 2

대답이 소스 코드 (아마도 난독 화, 코드화 된 것 등)에 없으면 XmlHTTPRequest이로드 된 페이지 이후에 검색되었을 가능성이 큽니다. Firebug의 '네트워크'패널을 사용하여 페이지가로드 한 다른 데이터와로드 된 요청을 확인할 수 있습니다.

(당신은 네트워크 패널을 사용하도록 설정 한 다음 페이지를 다시로드/다시 시작해야 할 수도 있습니다)

아마 (아마도 Ajax를) 자바 스크립트로 동적으로로드 무엇 후 당신