자바 스크립트를 사용하여 데이터를 출력하는 웹 페이지를 다운로드하고 싶습니다. Wget은 다른 모든 것을 할 수 있지만 javascript를 실행하십시오. 같은콘텐츠를 생성하기 위해 자바 스크립트를 사용하는 웹 페이지 저장/미러링/크롤링
에도 무언가 : 파이어 폭스 -remote "적인 saveURL이 (www.mozilla.org, myfile.html에)"
이 좋은 것 (불행히도 명령의 종류가 존재하지 않습니다).셀렌 브라우저 자동화 도구 (http://seleniumhq.org/)를 보겠습니다. 웹 페이지 방문을 자동화하고 결과 HTML을 저장할 수 있습니다.
우리는 이전 프로젝트에서 이와 비슷한 목적으로 큰 성공을 거두었습니다.
Windows 기반 응용 프로그램이라면 C#, Visual Basic, Delphi 등과 같은 프로그래밍 언어의 브라우저 구성 요소를 사용하여 페이지를로드 한 다음 내용을 들여다보고 저장할 수 있습니다. 브라우저 구성 요소는 IE 렌더링 엔진을 기반으로해야하며 JavaScript를 지원해야합니다. 웹 사이트 here의 스냅 샷과 관련된 질문이 있습니다. 당신에게 유용 할 수 있습니다.
다른 방법으로, 자신 만의 Firefox 확장 기능을 구축 할 수 있습니다. 자세한 내용은 here을 들으십시오 ("다음"버튼이 없으며 왼쪽 메뉴는 탐색하기에 처음에는 혼란 스럽습니다).
내가 Alex가 Selenium을 제안했다. Javascript가 DOM을 수정 한 후에 출력 HTML을 캡처 할 수 있도록 브라우저에서 실행됩니다.
브라우저 기반 접근 방식을 사용할 때의 문제점은 스크래핑 프로세스를 자동화하는 것이 어렵다는 것입니다.
좋아하는 프로그래밍 언어로 "헤드리스 브라우저"를 찾아보십시오. 또는 Jaxer을 사용하여 DOM 서버 측을로드하고 JavaScript를 실행하고 DOM을 조작하게 한 다음 이미 익숙한 동일한 JavaScript를 사용하여 수정 된 DOM을 스크랩 할 수 있습니다. 이것은 내가 선호하는 접근 방법이다.
내가 사용하기 전에 이런 짓을했는지 :
사용하는 언어는 무엇? – UnkwnTech