웹 크롤링 도움이 필요합니다.

Question

안녕하세요. 소규모 검색 엔진을 만들기 위해 취미 프로젝트를 조금만 완료했습니다.

내가 사용했던 괜찮은 강력한 오픈 소스 웹 크롤러를 알고 있는지 궁금한가요? 놈이 설치하고 사용하는 것은 쉽습니다.

웹 크롤러를 검색하고 목록을 붙여 주셔서 감사합니다.

Answer 1

crawler4j 꽤 괜찮은 크롤러, 멀티 스레드 및 구성 및 사용하기 쉽습니다. 그것은 Java로 작성되었습니다.

wikipedia page에서 오픈 소스 크롤러 목록을 찾을 수 있습니다.

Answer 2

나는 비슷한 경험을 읽어야한다고 생각합니다.

http://infolab.stanford.edu/~backrub/google.html