나는 기본적으로 이런 링크가 웹 사이트를 크롤링 할 필요가 마지막 스크랩

Question

이후에 추가 된 단지 무엇을 긁어.

그것은 같은 장고 쉽게 알 수 있습니다 :

if item exists do not insert it, otherwise insert it 

을하지만 마지막 다쳤고 이후에 추가 된 링크의 나머지 부분을 긁어 수있는 방법이있다? 이 시점에서

/link/page_1.html becomes /link/page_2.html 
new items populate /link/page_1.html 

, 내가 그냥 마지막 쳤 이후 새로운 추가 된 항목을 긁어 scrapy을 말할 필요가 수행

예를 들어, website.com 후 새 항목을 삽입?

Answer 1

최신 치료법은 디스크 [1]에 대한 요청을 직렬화하는 것을 지원하며, 또한 Rolando의 Redis 통합 [2]이 있습니다.

• [1] http://scrapy.readthedocs.org/en/latest/topics/jobs.html는
는
• [2] https://github.com/darkrho/scrapy-redis