Scrapyd 자체와 마찬가지로 (Scrap Crawl Spider -s JOBDIR = jobdir/spider-1) Scrapyd를 일시 중지/계속 크롤링 할 법적 방법이없는 것처럼 보입니다. 내가 찾은 유일한 해결 여기이었다Scrapyd 일시 중지/계속 작업
https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ
하지만 난 생각을 이해하지 않았습니다.
그래서 Scrapyd에서 작업을 일시 중지/계속할 수 있습니까? 시간에 대한
감사
아이디어는 다음입니다 :
당신이 추가 인수를 붙여 넣을 수 있습니다 cmd에서 거미를 실행하면, 예를 들면 : 당신이 엔드 포인트 schedule.json에 Scrapyd를 사용하는 경우 scrapy crawl myspider -s JOBDIR=crawls/somespider-1
일부 설정을 붙여 넣을 수도 있습니다. 당신이 scrapyd-client를 사용하는 경우이 다음과 같이 표시됩니다
s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)
는 후에는 작업을 취소 할 수 있습니다. 다음 번에 같은 일을 할 때 - scrapyd는 이전 작업을 재개합니다
죄송 합니다만,이 옵션을 어디에 써야할지 모르겠다. 크롤러를 다음과 같이 실행하면 (코드 http : // localhost : 6800/schedule.json -d 프로젝트 = my-parsers -d 스파이더 = my_spider) 코드를 어디에 붙여야합니까? – Pachvarsh
이 경우 다음과 같이 호출 할 수 있습니다 :'curl localhost : 6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1' – AndMar
불행히도, 어느 쪽이든 일하십시오. 내가 curl localhost : 6800/schedule.json -d 프로젝트 = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1 jobid = 3123asds5f34141asdfesw324' 처음부터 새로운 구문 분석을 시작합니다. , 로그 만 동일합니다. – Pachvarsh