동적 링크를위한 Mp3 링크 크롤러

Question

나는 특정 웹 사이트 집합을 돌아 다니고 모든 mp3 링크를 데이터베이스로 크롤링하는 크롤러를 작성하고 있습니다. 파일을 다운로드하고 싶지 않고 링크를 크롤링하고 색인을 생성하여 검색 할 수 있습니다. PHP를 사용하는 방법과 일부 사이트 LINKE guruji.com

Answer 1

당신은 아마 정규 표현식을 조회 할

- 같은 사용자가 연결 한 후, 이렇게 : 이는 비록 모든 링크를 찾을 수

function crawl($url) { 
    $ch = curl_init(); 
    curl_setopt($ch, CURLOPT_URL, $url); 
    curl_setopt($ch, CURLOPT_TIMEOUT, 30); // 30 second timeout 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); 
    $result = curl_exec ($ch); 
    curl_close ($ch); 

    if ($result) { 
     // top domain links 
     preg_match_all('/<a(?:[^>]*)href=\"([^\"]*)\"(?:[^>]*)>(?:[^<]*)<\/a>/is', $result, $output, PREG_SET_ORDER); 

     foreach($output as $item) { 
      // each link found is output 
      echo "<pre>"; 
      var_dump($item[0]); 
      // do your magic here 
     } 
    } 
} 

를, 그래서 당신의 사용법에 맞게 조정하거나 필터를 마련해야합니다.