스크린 스크래핑 -하는 방법을 AJAX 기반의 필터링 된 데이터

Question

내가 스크린 스크래핑, 쉬운 쿼리 문자열에서 filteration하지만 AJAX 기반 filteration의 문제,

예를 들어, 작업입니다 here is an sample URL 이 페이지를 열면 호텔 이름을 입력하고 이동, Ajax 필터 작업을 클릭하여 결과를 표시하거나 다음 페이지를 클릭하면 AJAX 기반의 다음 레코드가 표시됩니다.

화면 스크래핑에서 작업 할 때 이러한 종류의 문제를 처리하는 방법을 알려주십시오. 일반적 아약스와 함께 사용되는 URL을 어떤 링크 또는 양식 작성을 위해 할 만 사용으로

감사는 많이

Answer 1

2 개의 Firefox 부가 기능을 사용해보세요. 그들은 "방화 광"과 "변조 데이터"입니다.

방화 광의 "콘솔"창에 AJAX 요청 및 응답이 표시됩니다.

그런 다음 요청을 모방하기 위해 PHP/cURL 라이브러리를 사용하여 스크립트를 작성할 수 있습니다.

Answer 2

는 HTTP 요청 작업을 수행합니다. 때로는 URL 작성 방법을 결정하기 위해 자바 스크립트 소스를 읽어야 할 수도 있습니다.