Java로 작성된 최고의 오픈 소스 웹 크롤러 도구는 무엇입니까?

crawler4j를 시도해보십시오. 그것의 오픈 소스와 사용하기 쉬운. 이 가이드를 참조하여 crawler4j를 설정할 수 있습니다. - http://www.buggybread.com/2013/01/create-your-own-email-and-image.html –

시도 crawler4j. 방문 할 URL과 크롤링 된 각 페이지에서 수행 할 작업을 제어하는 간단한 인터페이스를 구현하기 만하면됩니다.

2011-12-12 12:20:46 Andy

이 크롤러를 사용하여 HTTPS 웹 사이트를 크롤링하는 데 문제가 있습니다 ('site 응답하지 못했습니다. 브라우저에서 잘 열리는 동안 등) – ed22

(자바) 내 생각 엔 Nutch 대 Heritrix으로 생각합니다. 더 나은 답변을 얻으려면 무엇이 필요한지 지정해야합니다.

2011-12-12 12:20:03 riffraff

답변