웹 사이트의 html 소스를 자동으로 다운로드하는 방법

Question

도메인 이름을 입력 할 수있는 프로그램을 아는 사람이 있습니까? 전체 도메인을 크롤링하고 모든 HTML 소스 코드를 다운로드 할 수 있습니다. 사이트에는 페이지에 링크가 있지만 외부 도메인 이름이 아닌 도메인 이름의 페이지에만 크롤링됩니다.

Answer 1

파이썬 scrapy을 봐 : 자바에 대한

http://www.scrapy.org

또는 crawler4j :

http://code.google.com/p/crawler4j/