PHP를 통해 웹 사이트에서 데이터 추출

Question

일부 친구에게 간단한 경고 응용 프로그램을 만들려고합니다.

는 기본적으로 나는 folowing이 같은 웹 페이지에서 데이터 "가격"과 "재고"를 추출 할 수 있도록하려면 : 내가 만든

• http://www.sparkfun.com/commerce/product_info.php?products_id=5
• http://www.sparkfun.com/commerce/product_info.php?products_id=9279

전자 메일 및 SMS 부분을 통해 경고하지만 지금은 수량 및 가격을 웹 페이지 (그 2 또는 다른 모든 제품)에서 가져올 수 있으므로 사용 가능한 가격과 수량을 비교하고 주문하도록 경고 할 수 있습니다. 제품이 일부 사이에있는 경우 임계 값.

일부 정규식 (일부 자습서에서 발견되었지만이 방법도 n00b)을 시도했지만이 유용한 팁이나 예제를 얻을 수 없었습니다.

Answer 1

$content = file_get_contents('http://www.sparkfun.com/commerce/product_info.php?products_id=9279'); 

preg_match('#<tr><th>(.*)</th> <td><b>price</b></td></tr>#', $content, $match); 
$price = $match[1]; 

preg_match('#<input type="hidden" name="quantity_on_hand" value="(.*?)">#', $content, $match); 
$in_stock = $match[1]; 

echo "Price: $price - Availability: $in_stock\n"; 

Answer 2

당신이 한 일 : 정규식을 사용하여 HTML 또는 bad things will happen을 구문 분석하지 마십시오. 대신 parser을 사용하십시오.

Answer 3

this one과 같은 DOM 구문 분석기에 HTML 코드를로드하고 "가격 책정"테이블을 검색하는 것이 가장 좋습니다. 그러나, 귀하가하는 모든 종류의 긁기는 페이지 레이아웃을 변경할 때마다 중단 될 수 있으며 동의 없이는 불법입니다.

가장 좋은 방법은 사이트를 운영하는 사람들과 이야기하고 대체 가능한 안정적인 형태의 데이터 전달 (웹 서비스, RSS 또는 데이터베이스 내보내기가 마음에 듭니다)이 있는지 확인하는 것입니다.

Answer 4

첫 번째 질문은이 질문에 너무 자세히 나와 있습니다. 둘째, 웹 사이트에서 데이터를 추출하는 것이 합법적이지 않을 수 있습니다. 경기 수 있는지 확인하려면 정규식을 테스트 흥미로운 정보

의 HTML 내용과 패턴을 탐구하는

1. 사용 방화범 또는 크롬/사파리 관리자 : 그러나, 나는 힌트를 가지고있다. 당신은 file_get_contents 사용

2. 컬 또는 훨씬 간단 통해 클라이언트를 쓰기 그것을 여러 번 (멀티 패스 구문 분석/추출) 할 필요가 있습니다 (참고 그 file_get_contents 일부 호스팅하지 않도록 적재 된 URL)

필자는 Tidy를 사용하여 올바른 XHTML로 변환 한 다음 RegEx 대신 데이터를 추출하는 데 XPath를 사용하는 것이 좋습니다. 왜? XHTML은 규칙적이지 않으며 XPath는 매우 유연하기 때문입니다. 변환 할 XSLT를 배울 수 있습니다.

행운을 빈다.

Answer 5

google을 위해 스크린 스크래핑이라고합니다.

대신 dom 파서와 xpath 표현식을 사용하는 것이 좋습니다. HtmlTidy를 통해 먼저 HTML을 피드하여 유효한 마크 업인지 확인하십시오.예를 들어

:

$html = file_get_contents("http://www.example.com"); 
$html = tidy_repair_string($html); 
$doc = new DomDocument(); 
$doc->loadHtml($html); 
$xpath = new DomXPath($doc); 
// Now query the document: 
foreach ($xpath->query('//table[@class="pricing"]/th') as $node) { 
    echo $node, "\n"; 
} 

Answer 6

가장 간단한 방법은, 웹 사이트로부터 데이터를 추출한다. 내 모든 데이터가 태그 내에 만 포함되어 있으므로이 태그를 준비했습니다.