asp.net을 통해 html 페이지를 다운로드하는 방법

Question

내 웹 앱에서 웹 페이지를 다운로드 한 다음 "제목"과 "설명"메타 태그를 읽을 수있는 방법은 무엇입니까? 웹 크롤 러를 좋아하지만 Asp.net에서 .. asp.net 웹 페이지로 호출 하시겠습니까?

감사합니다.

Answer 1

당신은 당신이 System.Net 네임 스페이스에서 찾을 수있는 WebClient class를 사용하여 .NET에서 외부 URL의 화면 스크랩을 할 수 있습니다. DownloadData 메서드를 사용하면 지정된 URL에서 콘텐츠를 다운로드 할 수 있습니다. 다운로드 된 데이터는 바이트 배열로 내려 오지만 문자열로 변환 할 수 있습니다.

다음 코드는 내 블로그의 홈페이지에서 HTML, http://scottonwriting.net/sowblog/default.aspx을 잡아 WebClient를 사용하는 방법을 보여줍니다

// Create a new WebClient instance. 
WebClient myWebClient = new WebClient(); 

// Download the markup from 
byte[] myDataBuffer = myWebClient.DownloadData("http://scottonwriting.net/sowblog/default.aspx"); 

// Convert the downloaded data into a string 
string markup = Encoding.ASCII.GetString(myDataBuffer); 

당신의 마크 업을 선택하는 당신이 방법을 검색하는 정규 표현식 또는 문자열을 사용할 수있는 마크 업을 일단 관심.

Answer 2

HTML Agility Pack 및 해당 HTMLWeb 클래스를 사용하십시오.