내 링크 크롤러 코즈가 특정 웹 페이지에서 작동하지 않습니다.

Question

웹 페이지에있는 모든 링크를 찾아서 인쇄하는 프로그램을 PHP로 작성했습니다. 그것은 또한 발견 한 모든 링크 내부로 들어가고 똑같이합니다. 내 문제는 일부 사이트 (예 : 유튜브)에서 링크를 인쇄하거나 내부를 따르지 않는다는 것입니다. 여기

내 주요 코드 :

function echo_urls($site_address){ 

    if(check_valid_url($site_address)){ 
     $site = new site(); 
     $site->address = $site_address; 
     $site->full_address = "<a href=\"$site_address\">$site_address</a>"; 
     $site->depth = 0; 

     $queue = new queue(); 

     $queue->push($site); 
     array_push($queue->seen,$site->address); 

     $depth = 0; 

     while(($site = $queue->get_first())){ 
      $depth++; 
      echo $site->depth." : ".$site->full_address."<br>"; 
      $queue = push_links($site->address,$queue,$depth); 
     } 
    } 
    else; 
} 
function push_links($site_address,$queue,$depth){ 
if($depth<4){ 
     $ch = curl_init(); 
     curl_setopt($ch, CURLOPT_URL,$site_address); 
     curl_setopt($ch, CURLOPT_TIMEOUT, 30); //timeout after 30 seconds 
     curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); 
     $result=curl_exec ($ch); 
     curl_close ($ch); 

     if($result){ 
      preg_match_all('/<a\s[^>]*href=([\"\']??)([^\" >]*?)\\1[^>]*>(.*)<\/a>/siU', $result, $list); 

      $list = $list[0]; 

      foreach($list as $item) { 
       if(!(empty($item))) 
       if($result = get_all_string_between($item,"href=\"","\"")){ 
        if((array_search($result[0],$queue->seen))==false){ 
         $site = new site(); 
         $site->address = $result[0]; 
         $site->full_address = $item; 
         $site->depth = $depth; 
         $queue->push($site); 
         array_push($queue->seen,$site->address); 
        } 
       } 
      } 
     } 
    } 

    return $queue; 
} 

Answer 1

그것은 기능의 몇 가지보고 말할 어렵지만, 내 생각은 다음과 같습니다

1. 유튜브는 당신에게
2. 이 부분을 차단 if($depth<4){ FALSE를 반환 할 수 있기 때문에 push_links이 실행되지 않습니다.

또한 RegEx를 사용하지 마십시오. The DOMDocument class

Answer 2

나는 일반적으로 사이트를 크롤링하기 위해 PHPQuery를 사용합니다. 그것은

http://code.google.com/p/phpquery/