Crawler4j는 시드 URL 만 방문합니다

Question

crawler4j을 사용하여 rottentomatoes 웹 사이트를 크롤링하여 구조화 된 데이터를 추출합니다. 나는 모든 것을 설정했고 프로젝트 홈 페이지에 예를 들어있는 기본 URL로 모든 것이 작동하지만, 내 자신의 씨앗을 넣으면 응용 프로그램은 내가 준 URL 만 방문합니다. 내가 뭐 놓친 거 없니?

Answer 1

가장 일반적인 오류는 shouldVisit 메서드가 항상 false를 반환하므로 크롤러가 시드 URL 만 방문한다는 것입니다.