파이썬을 사용하여 결과를 즉시 반환하지 않는 PHP 양식을 어떻게 제출합니까?

Question

거대한 데이터베이스를 쿼리하는 PHP 폼이 있습니다. 양식의 URL은 https://db.slickbox.net/venues.php입니다. 결과가 반환되기 위해 양식을 보낸 후 최대 10 분이 걸리고 결과가 동일한 페이지에 인라인으로 반환됩니다. 요청, URLLib2, LXML 및 셀레늄을 사용하여 시도했지만 이러한 라이브러리를 사용하여 솔루션을 만들 수 없습니다. 이 양식을 제출 한 후 결과의 페이지 소스를 검색하는 방법을 아는 사람이 있습니까?

해결책을 알고 있다면 테스트를 위해 이름 입력란 ("vname")에 마음에 오는 상점/주유소 이름을 적어주세요. 궁극적으로, 나는 또한 "checked"속성으로 체크 박스를 설정해야하지만,이 작업이 끝나면 그 다음 목표가됩니다. 고맙습니다!

Answer 1

나는 보통 이런 종류의 일을하기 위해 Curl에 의존합니다. 단추를 사용하여 양식을 보내 소스를 검색하는 대신 요청 페이지에서 직접 응답 페이지로 전화하십시오. 저는 PHP에서 일하기 때문에 이렇게하기가 쉽습니다. 파이썬에서는 같은 것을 관리하기 위해 pycURL이 필요합니다.

이렇게해야 할 일은 POST method with Curl을 사용하여 throw 된 좋은 인수 값으로 venues.php를 호출하는 것입니다.

이렇게하면 요청 (국가 코드, 고양이 이름)을 준비해야하지만 확인란을 선택하거나 브라우저에서 웹 사이트 페이지를로드 할 필요가 없습니다.

set_ini(max_execution_time,1200) // wait 20 minutes before quitting 
$ch = curl_init(); 

// set URL and other appropriate options 
curl_setopt($ch, CURLOPT_URL, "https://db.slickbox.net/venues.php"); 
curl_setopt($ch, CURLOPT_HEADER, 0); 

// prepare arguments for the form 
$data = array('adlock ' => 1, 'age' => 0,'country' => 145,'imgcnt'=>0, 'lock'=>0,'regex'=>1,'submit'=>'Search','vname'=>'test'); 

//add arguments to our request 
curl_setopt($ch, CURLOPT_POST, true); 
curl_setopt($ch, CURLOPT_POSTFIELDS, $data); 
//launch request 
if(! $result = curl_exec($ch)) 
{ 
    trigger_error(curl_error($ch)); 
} 
echo $result; 

Answer 2

어때 대략 ghost?

from ghost import Ghost 
ghost = Ghost() 

with ghost.start() as session: 
    page, extra_resources = session.open("https://db.slickbox.net/venues.php", wait_onload_event=True) 
    ghost.set_field_value("input[name=vname]", "....") 
    # Any other values 
    page.fire_on('form', 'submit') 
    page, resources = ghost.wait_for_page_loaded() 

    content = session.content # or page.content I forgot which 

당신이 HTML을 구문 분석 BeautifulSoup로 사용하거나 유령이 할 몇 가지 기본적인 유틸리티가있을 수 있습니다 후.