pipline의 치료 종료 크롤러

Question

파이프 라인에서 치료 크롤링을 종료하는 방법이 있습니까? 내 pipline은 URL을 처리하고 목록에 추가합니다. 목록이 지정된 양에 도달하면 크롤러를 종료하려고합니다. 나는 raise CloseSpider()을 알고 있지만 거미에서 호출되었을 때만 작동하는 것처럼 보입니다.

Answer 1

예, 가능합니다. Crawler.engine.close_spider (spider_name, reason)를 호출 할 수 있습니다.

있다. an example in the CloseSpider extension