말미잘이있는 하위 폴더 만 크롤링하는 방법

Question

아네모네 (예 : https://stackoverflow.com/)로 구멍 웹 사이트를 크롤링 할 수 있지만 특정 폴더 (예 : https://stackoverflow.com/questions)에만 집중하려는 경우 어떻게할까요? 어떻게해야합니까? 어쩌면 "focus_crawl"방법으로?

Answer 1

확인 keep_if 방법이

http://danneu.com/posts/8-scraping-a-blog-with-anemone-ruby-web-crawler-and-mongodb#toc_1

시도를하는 데 도움이

는 요지 https://gist.github.com/1149906이 크롤링 원하는 패턴을 통과 할 수있다.

참고 : 테스트하지 않았지만 반드시 시도해보십시오.