설정 세션 페이지

Question

URL1 : https://duapp3.drexel.edu/webtms_du/

URL2 : https://duapp3.drexel.edu/webtms_du/Colleges.asp?Term=201125&univ=DREX

URL3 : 개인 프로그래밍 프로젝트로 https://duapp3.drexel.edu/webtms_du/Courses.asp?SubjCode=CS&CollCode=E&univ=DREX

, 내 대학 과정 카탈로그를 긁어 편안한 API로 제공 할 .

그러나 다음과 같은 문제가 있습니다.

내가 긁을 필요가있는 페이지는 URL3입니다. 그러나 URL3은 URL2를 방문한 후에 의미있는 정보 만 반환하지만 (이 경우 용어는 Colleges.asp?Term=201125 임), URL2를 방문한 후에 만 ​​URL2를 방문 할 수 있습니다.

나는 Fiddler를 사용하여 HTTP 데이터를 모니터링하려고 시도했지만 쿠키를 사용하고 있다고 생각하지 않습니다. 브라우저를 닫으면 즉시 모든 것이 다시 설정되므로 Session을 사용하고 있다고 생각됩니다.

URL 3을 어떻게 긁을 수 있습니까? 프로그래밍 방식으로 URL 1과 2를 먼저 방문한 다음 file_get_contents(url3)을 시도했지만 작동하지 않습니다 (아마 3 개의 다른 세션으로 등록했기 때문일 수 있습니다).

Answer 1

세션은 사용자를 식별하는 메커니즘이 필요합니다. :. URL 쿠키, 세션 ID

URL 1에 curl -v는 세션 쿠키가 참으로 설정되는 계시

Set-Cookie: ASPSESSIONIDASBRRCCS=LKLLPGGDFBGGNFJBKKHMPCDA; path=/ 

당신은 유지하기 위해 후속 요청에 다시 서버로이 쿠키를 보낼 필요가 당신. 세션이 살아 있습니다.

file_get_contents을 사용하려면 수동으로 컨텍스트를 만들고 stream_context_create과 함께 쿠키를 포함시켜야합니다.

대안 (내가 개인적으로 선호하는)은 PHP에서 편리하게 제공하는 curl functions을 사용하는 것입니다. (쿠키 트래픽도 처리 할 수 ​​있습니다!)하지만 그건 내가 선호하는 것입니다.

편집 :

여기에 귀하의 질문에 경로를 긁어하는 작업 예입니다.

$scrape = array(
    "https://duapp3.drexel.edu/webtms_du/", 
    "https://duapp3.drexel.edu/webtms_du/Colleges.asp?Term=201125&univ=DREX", 
    "https://duapp3.drexel.edu/webtms_du/Courses.asp?SubjCode=CS&CollCode=E&univ=DREX" 
); 

$data = ''; 
$ch = curl_init(); 

// Set cookie jar to temporary file, because, even if we don't need them, 
// it seems curl does not store the cookies anywhere otherwise or include 
// them in subsequent requests 
curl_setopt($ch, CURLOPT_COOKIEJAR, tempnam(sys_get_temp_dir(), 'curl')); 

// We don't want direct output by curl 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 

// Then run along the scrape path 
foreach ($scrape as $url) { 
    curl_setopt($ch, CURLOPT_URL, $url); 
    $data = curl_exec($ch); 
} 

curl_close($ch); 

echo $data;