scrapyd를 계속 실행하십시오.

Question

데비안 머신에 scrapyd와 scrapyd를 설치했습니다. ssh-tunnel을 사용하여이 서버에 로그인합니다. 나는 다음 이동하여 scrapyd 시작 : 컬 로컬 호스트 : 이 Scrapyd 잘 시작하고 난 후 서버에 다른 SSH 터널을 열고 내 거미 예약

을 scrapyd 6800/schedule.json -d 프로젝트 = myproject라는를 - d spider = myspider

거미가 잘 돌아가고 모든 것이 정상입니다.

문제는 scrapyd를 시작한 세션을 종료 할 때 scrapyd가 실행을 멈추는 것입니다. 이것은 cronjob이 시작될 때 scrapyd가 실행 중이 아니기 때문에 scrapyd가있는 schdedule 스파이더에 cron을 사용하지 못하게합니다.

간단한 질문 : 어떻게 ssh 세션을 종료 할 때 종료되지 않도록 scrapyd를 실행 상태로 유지합니까? 화면 세션에서

Answer 1

실행이 :

$ screen 
$ scrapyd 

# hit ctrl-a, then d to detach from that screen 

$ screen -r # to re-attach to your scrapyd process 

Answer 2

어때? $ sudo service scrapyd start

Answer 3

supervisor으로 스크래치를 시작하는 것이 좋습니다.

그리고 여기 요지로 사용할 수있는 좋은의 .conf 스크립트가 : https://github.com/JallyHe/scrapyd/blob/master/supervisord.conf