-1
C# 또는 VB.NET을 사용하여 웹 사이트를 크롤링하고 싶습니다. 크롤러가 웹 페이지에서 URL을 추출하고 크롤러가 URL을 따라 웹 사이트에서 모든 URL을 추출 할 수있게하고 싶습니다.전체 웹 사이트에서 전체 URL 추출
어떻게 작성할 수 있습니까?
A
답변
1
이 경우 웹 사이트는 무엇입니까?
로컬 가상 디렉터리? 정적 웹 페이지입니까? 동적 페이지는 어딘가에서 호스팅됩니까?
wget --mirror
에서
봐는 컬도 여기에 옵션이있을 수 있습니다. 당신이 그물 :
관련 문제
- 1. 전체 웹 사이트에서 특정 URL에 연결된 페이지가 있는지 확인하려면 어떻게합니까?
- 2. jquery ajax load (전체 URL)
- 3. C# "#"으로 전체 URL 얻기
- 4. Django : 사이트 전체 URL 프리픽스
- 5. 파이썬 스크린 전체 웹 사이트
- 6. 전체 웹 사이트에서 DHTMLX 캘린더 사용/사용 안함
- 7. ASP.NET 웹 사이트에서 전체 UI를 변경하는 방법은 무엇입니까?
- 8. 전체 SQL Server 데이터베이스를 CSV 파일로 추출
- 9. 오라클 타임 스탬프 : 전체 시간 추출
- 10. PHP를 사용하여 웹 사이트에서 데이터 추출
- 11. 전체 Asp.Net 웹 구성보기
- 12. 전체 HTTP URL과 문서 루트 URL 실적
- 13. 전체 배율 전체 UIView
- 14. PHP를 통해 웹 사이트에서 데이터 추출
- 15. wordpress의 URL 퍼마킹 변경 ... 확장자가 아닌 전체 URL
- 16. 전체
- 17. 전체 mouseMove
- 18. 전체 웹 페이지를 다운로드하는 방법
- 19. 전체 웹 페이지에 이미지 오버레이
- 20. 전체 웹 사이트 콘텐츠를 크롤링
- 21. 전체 웹 사이트 다운로드 방지?
- 22. 자바 스크립트를 사용하여 전체 URL 기록 얻기
- 23. 전체 http url 문자열을 올바르게 인코딩하려면 어떻게해야합니까?
- 24. 톰캣 필터 : 전체 앱에서 일부 URL 제외 -
- 25. URL 구성 요소 변수를 전체 URL로 결합
- 26. ASP.NET MVC에서 전체 동작 URL 받기
- 27. PHP로 전체 페이지 URL 가져 오기
- 28. HTTPS 헤더 및 전체 URL 경로
- 29. ASP.Net에서 파일의 전체 URL 얻기 MVC
- 30. 피드 URL 패턴의 전체 목록을 확인 하시겠습니까?
나는 C++의 클래스에 대한 이런 짓을 긁어 시작하기 전에
은 또한, 약robots.txt을 읽어 보시기 바랍니다, 그것을 구현하기 너무 어렵지 않았다. 원한다면 모든 코드가 오픈 소스입니다. – tjameson다음은 몇 가지 예입니다. [웹 크롤러 1] (http://www.codeproject.com/KB/IP/Crawler.aspx) [웹 크롤러 2] (http://social.msdn.microsoft.com/forums/en-US/csharpgeneral/ 스레드/8fecf702-04d9-4ee8-854e-0a31b3c01176) – Jethro
링크가 작동하지 않습니다 ... – tjameson