양식 채우기 후 데이터 스크랩?

Question

수업 시간에 약간의 프로젝트를하고 있습니다. 초보자 일 뿐이므로 제 용어를 섞어 쓰면 용서해주십시오.

기본적으로 나는 도시의 대중 교통 시스템을위한 양방향 여행 플래너를 만들고 있습니다. 불행히도, 그들은 공개적으로 필요한 모든 데이터를 만들지 않았습니다. 따라서 개인적인 용도로 데이터를 모으는 대신 모든 화면을 스크랩하는 방법을 사용했습니다. 서버가 START 및 STOP 변수에서 여행 정보를 계산 한 다음 내 페이지에 선택한 정보를 표시하도록했습니다.

폼의 필드를 원격으로 채우고 나중에로드되는 페이지의 데이터를 다룰 수 있습니까? 그렇다면 무엇이 가장 빠르고 편리한 방법일까요? 이는 URL을 통해 데이터를 조작 할 수없는 경우이므로 양식을 먼저 작성하여 데이터에 액세스해야합니다. 문제

웹 사이트 :

1.) 같은 일부 데이터와 journey-planner에 POST 요청을 보내기 (CORS가 뛰어 수 있음을 유의하십시오 여기 http://jp.translink.com.au/travel-information/journey-planner

Answer 1

은 당신이 할 수있는 것입니다 PHP를 통해 cURL을 사용할 수 있습니다.)

Start:Wickham Tce, Spring Hill 
End:Upper Edward St, Spring Hill 
SearchDate:10/05/2013 12:00:00 AM 
TimeSearchMode:LeaveAfter 
SearchHour:7 
SearchMinute:40 
TimeMeridiem:AM 
TransportModes:Bus 
TransportModes:Train 
TransportModes:Ferry 
MaximumWalkingDistance:1500 
WalkingSpeed:Normal 
ServiceTypes:Regular 
ServiceTypes:Express 
ServiceTypes:NightLink 
FareTypes:Standard 
FareTypes:Prepaid 
FareTypes:Free 

2.) 새로운 응답 위치를 얻게됩니다. 이것은 REST 링크 인 것 같습니다. 중요한 것은 id입니다. 해당 페이지를 호출하고 HTML을 구문 분석 한 후 divtravel-option-1부터 travel-option-n까지의 자세한 정보를 찾을 수있는 option-summaries과 함께 div을 찾으십시오. 저장된 정보가 무엇인지 그리고 어떻게 사용할 수 있는지 알아 내려면 신중하게 조사해야합니다.

그런 것들을 찾으려면 Firebug 또는 Chrome의 개발 도구를 사용하는 방법을 배워야합니다.

이것은 문제를 해결하는 한 가지 방법입니다. 아마도 최선은 아니지만 여전히 "화면 스크래핑"보다 좋습니다. 그러나 많은 기술과 노력을 요구할 것입니다. 또한 데이터 공급자가 조금만 변경되면 솔루션이 더 이상 작동하지 않습니다. 또한 CORS 또는 기타 (사용자의 IP 등을 차단)로 액세스하지 못하도록 할 수 있습니다.