1
크롤링해야하는 웹 URL 목록이 있습니다. 이를 크롤링하지 않고 웹 페이지 목록 만 크롤링 할 수 있습니까? 씨앗으로 URL을 추가하면 전체 웹 사이트를 전체 깊이로 크롤링합니다.전체 웹 사이트를 크롤링하지 않고 URL 목록을 크롤링하는 crawler4j
A
답변
1
만이 씨앗으로 추가 페이지를 크롤링하려면, 0
CrawlConfig config = new CrawlConfig();
config.setMaxDepthOfCrawling(0);
PageFetcher pageFetcher = new PageFetcher(config);
관련 문제
- 1. 검색 엔진이 웹 사이트를 크롤링하는 방법은 무엇입니까?
- 2. crawler4j
- 3. Nutch가 특정 사이트를 크롤링하지 못했습니다.
- 4. 인증을 사용하여 웹 사이트를 크롤링하는 크롤러
- 5. 전체 웹 사이트에서 전체 URL 추출
- 6. 설치 가이드 crawler4j
- 7. 크롤링하는 동안 (텍스트 만) 웹 사이트를 구문 분석하는 방법
- 8. 전체 사이트를 사용하지 않고 MVC 배포
- 9. 말도 안되는 캘린더 웹 페이지를 크롤링하지 않도록 Nutch를 구성하는 방법
- 10. 전체 위키 피 디아를 크롤링하는 방법?
- 11. 원래 웹 사이트를 건드리지 않고 모바일 웹 사이트를 구축하십시오.
- 12. crawler4j 구현
- 13. 피드 URL 패턴의 전체 목록을 확인 하시겠습니까?
- 14. Google 웹 이미지를 크롤링하는 방법
- 15. 웹 페이지를 크롤링하는 방법은 무엇입니까?
- 16. 백분율을 사용하지 않고 웹 사이트를 확장하십시오.
- 17. Crawler4j - 예외 발생 java.lang.NoSuchMethodError
- 18. 검색 엔진 Bots가 크롤링하는 방법?
- 19. 소스를 크롤링하는 방법 내 웹 크롤링
- 20. 전체 Silverlight 웹 사이트를 가지고있는 것이 정상입니까?
- 21. Magento에서 전체 웹 사이트를 자동으로 축소 하시겠습니까?
- 22. 건물 하나 개의 프로젝트는 전체 웹 사이트를
- 23. 전체 웹 사이트를 Google 번역으로 번역하는 방법?
- 24. URL 프레임이 반응 형 웹 사이트를 깨습니다.
- 25. 사이트를 크롤링하는 동안 로그인 한 사용자처럼 행동하는 방법은 무엇입니까?
- 26. 컴파일하지 않고 SVN 파일을 복사하지 않고 전체 웹 사이트를 게시하는 방법
- 27. 영어 사이트를 크롤링하고 다른 언어를 크롤링하지 않는 방법은 무엇입니까?
- 28. Msbuild가 IIS에 사이트를 삽입하지 않고 웹 사이트를 컴파일
- 29. 페이지/웹 사이트를 다시로드하지 않고 window.location.hash를 변경하십시오.
- 30. SEO를 해치지 않고 웹 사이트를 결합하십시오.