웹 페이지 (웹 크롤러)에서 모든 링크 압축 해제

Question

앱을 개발하고 싶습니다. 특정 웹 사이트의 URL을 제공하고 해당 웹 페이지의 모든 링크를 추출합니다. 여기에 URL을 내 앱에 제공하려는 웹 페이지는 Asp.net에 의해 개발되고 검색 결과, 결과 및 DataPager를 표시하는 GridView가 포함되어 있으며 GridView에는 검색 결과에 바인딩하기위한 HyperLinkField 컨트롤이 포함되어 있습니다.

목표 페이지의 검색 버튼을 클릭하면 페이지가 다시 게시되고 페이지의 URL을 변경하지 않고 GridView에서 검색 결과를 표시합니다.

예를 들어 검색 결과에 500 개의 레코드가 있고 datapager.PageSize = 10 인 경우 우리는 50 페이지가 있습니다.

이제 50 개 페이지를 모두 열고 내 페이지를 하나씩 추출하는 것 외에는 내 앱으로 한번에 Gridview에 묶인 500 개의 링크를 모두 추출 할 수 있습니까?

감사합니다.

Answer 1

당신은 포스트 백으로 ASP.NET 페이지를 구문 분석 할 수 있습니다 :

Parse a .Net Page with Postbacks
http://www.dreamincode.net/forums/topic/57101-website-scraping-and-postback/

Answer 2

HTML Agility Pack은 URL 스크래핑에서 가장 좋은 도구입니다.

귀하의 질문은 훨씬 광범위합니다 (전체 앱을 작성하는 방법을 묻는 것 같습니다). 먼저 HTML 애자일 팩에 대해 읽어 보시고, 몇 가지 예제를 통해 페이지의 링크를 긁어 보시고, 계속 진행하는 방법에 대해 궁금한 점이 있으시면 좀 더 구체적인 질문을 해보십시오.