asp.net mvc 웹 응용 프로그램에서 mp3 URL을 저장하는 크롤링하는 방법

Question

다른 웹 사이트를 크롤링하고 주어진 쿼리를 기반으로 mp3 URL을 수집 할 수있는 응용 프로그램을 만들고 싶습니다.

사용자가 데이터베이스에서 결과를 사용할 수 있으면 노래 제목을 검색하고 관련 노래 URL을 표시하면 웹 사이트를 크롤링하고 관련 결과를 데이터베이스에 저장하고 사용자에게 재검색을 보여줍니다.

Answer 1

HtmlAgilityPack (패키지 관리자를 사용하여 설치할 수 있음)을 제공합니다.

시작하는 방법의 간단한 예 :

문서를로드 한

string url = "http://www.google.com"; 
HtmlWeb web = new HtmlWeb(); 
HtmlDocument doc = web.Load(url); 

, 당신이 그것을 검사 할 수 있습니다 :

foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//a[@href]")) 
{ 
    if (node.Attributes.Contains("href")) 
    { 
     Console.WriteLine(node.Attributes["href"].Value); 
    } 
} 

위는 대한 찾을 수있는 모든 URL을 인쇄해야 앵커.