데이터/웹 긁기 : 페이지 당 결과 수정

Question

주어진 선택 가능한 경계 밖에서 "페이지 당 반환 된 결과"를 조작 할 수 있습니까? 예를 들어

,이 링크 :

http://www.autotrader.com/cars-for-sale/Beverly+Hills+CA-90210?zip=90210&showcaseOwnerId=68687451&startYear=1981&numRecords=100&firstRecord=0&endYear=2017&searchRadius=50

나는 수동으로 드롭 다운에서 선택의 수, 그러나 그 사전 선택 이외의 다른 URL에 numRecords (numRecords=100는) 전혀 영향을 미치지 변경할 수 있습니다.

영향을 줄 수있는 방법이 있습니까? 모든 결과를 단일 페이지에 표시하려고하므로 데이터 스크래핑을 할 때 한 페이지 만 긁어서 여러 페이지를 프로그래밍 방식으로 탐색 할 필요가 없습니다. 이것이 가능한가?

Answer 1

이 경우, 아니오;

이 페이지는 GET 요청에 표시 할 차량 수를 수신합니다 (따라서 &numRecords=100은 url).

4 가지 드롭 다운 옵션 이외의 다른 값을 보내려고했으나 미리 정의 된 선택 항목 옆에있는 모든 것이 서버 측에서 무시됩니다. 그래서 각 페이지에서 GET 요청을 보낼 필요가 있다고 생각합니다.

이렇게하려면 마지막 페이지에 도달 할 때까지 각 요청마다 &firstRecord을 100 씩 증가 시키십시오.