스크립트를 사용하여 웹 사이트에서 데이터를 가져 오는 방법은 무엇입니까?

여행 웹 사이트에서 가격을 추적하는 데 사용할 수있는 스크립트를 만들고 싶습니다.스크립트를 사용하여 웹 사이트에서 데이터를 가져 오는 방법은 무엇입니까?

파일에서 데이터를 자르는 데 아무런 문제가 없습니다 ...하지만 그 정보로 전체 사이트를 자동화하는 방법을 모르겠습니다.

나는 웹 사이트를 얻기 위해 다음 호출을 사용했습니다 :

curl -o data.txt http://www.tui.pl/wypoczynek/kuba/varadero/iberostar-tainos-vra20116/OfferCodeWS/WAWVRA20171120113020171120201711301830L10VRA20116DZX1AA02

을하지만 다운로드 한 내용이 숨겨져으로 가격이 포함되어 있지 않습니다

<span class="price-group-desc">Cena za osobę:</span> 
    <div class="row"> 
    <div class="col-xs-7 col-xs-offset-5"> 
     {{^child}} 
     <div class="old price">{{formattedAmount}} <sup class="currency">{{currencySymbol}}</sup></div> 
     <div class="price">{{formattedDiscountAmount}} <sup class="currency">{{currencySymbol}}</sup></div> 
     {{/child}} 
    </div>

무엇을 할 수 있습니까?

출처

2017-05-07 Laki

웹 사이트를 거미로 만들려면 자신의 로봇을 만드는 것이 좋습니다. 예 : 웹 사이트가 변경 될 수 있습니다. 차단 될 수 있습니다. 사이트 소유자에게 문의하여 파일을 다운로드 할 수 있는지 물어보십시오. –

좋은 지적이지만 다른 방법 - 프로모션이 있습니다. 그 여행이 내가 지불 한 것보다 저렴하다는 것을 알게되면 - 그들은 다시 차이를 줄 것이므로 어쨌든 매일 볼 필요가 있습니다 -하지만 어쨌든 물어 보겠습니다 – Laki

개인적으로 PHP 용 simple_html_dom 라이브러리를 사용합니다.

//getting the file  
$html = file_get_html('https://example.com/you/want/data/from'); 

//only selecting the element you want 
$element = $html->find('.some_class');

그래서 당신은 당신이 원하는 값을 사용할 수 있습니다 : 그것은 http://simplehtmldom.sourceforge.net

당신은 다음과 같이 사용할 수 있습니다 (자바 스크립트를 매우 JQuery와 같은)를 사용하는 것은 매우 쉽습니다으로 나는 매우 만족 해요 그들을 소원에 사용하십시오. 데이터를 가져 오는 작업을 자동화하기 위해 cron을 사용합니다.

출처

2017-05-07 10:40:44 Joris

값이 file_get_html에 의해 캐치되지 않기 때문에 여전히 문제를 해결하지 못합니다. – Laki

스크립트를 사용하여 웹 사이트에서 데이터를 가져 오는 방법은 무엇입니까?

답변

관련 문제