재사용 할 수있는 URL 스파이더 구성 요소가 있습니까?

Question

웹 사이트 루트 URL에 대해 실행할 수있는 스파이더 도구를 만들고 싶습니다. 예를 들어 구문 분석 정도를 지정하여 모든 깨지기 쉬운 링크 (이미지, CSS, .aspx, .docs)를 찾아야합니다. 2 단계.

그런 다음 마지막에 역시 내 .NET 응용 프로그램에서 재사용 할 수있는 준비가 타사 또는 무료 도구가 있습니까 XML로 또는

DataTables

에 결과의 맵을 생성해야합니까? 내가 전에 Chilkat ASP.Net 스파이더 구성 요소를 사용했습니다

Answer 1

많은 감사합니다. 크롤링 할 수있는 수를 지정할 수 있으며 제외 등을 설정할 수 있습니다.

자동으로 맵을 생성하지는 않지만 적어도 자동으로 맵을 생성하지는 않습니다. 결과를 데이터베이스 나 XML로 로깅하는 것은 상당히 쉬워야합니다. 구성 요소에 대한 세부 사항은 here이며 무료로 구성 요소를 다운로드 할 수 있습니다. here