0
설명하는 방법을 모르지만 디지털 오션 서버 ($ 5 서버)에서 Scrapy 스파이더를 실행 중이면 Scrapy 프로젝트가 Dokku 앱으로 배포됩니다.디지털 오션 서버를 사용하여 Dokku에서 실행중인 치료
그러나 로컬 컴퓨터 및 Heroku 자유 계층 dyno의 속도와 비교할 때 매우 느리게 실행됩니다. Dokku에서는 분당 30 페이지의 속도로 크롤링하고 Heroku에서는 분당 200 페이지 이상을 사용합니다.
문제를 해결하기 위해 디버깅, 분석 또는 시작 위치를 모릅니다. 이 문제를 해결하는 방법에 대한 도움, 단서 또는 팁?
['AutoThrottle'] (http://doc.scrapy.org/en/1.1/topics/autothrottle.html)을 활성화 할 수 있습니다. 당신의 거미는 추억으로 인해 죽었습니까? – Harrison
이미 오토 스로틀을 활성화했습니다. 그것은 메모리 부족으로 인해 죽지 않습니다 (1GB의 스왑 메모리를 사용하고 있습니다). Door 서버는 postgresql과 elasticsearch를 실행하면서 Heroku에서 별도로 실행되는 동안 메모리 문제가 발생할 수 있습니다. 나는 그것을 시험 할 것이다 :) 제안에 감사드립니다. –
10 및 20 달러 DO 서버를 사용해 보았지만 동일한 결과가있었습니다. 결과는 동일했다. AWS 또는 Linode에서 실행할 때 마침내 작동했습니다. 이유는 모르겠지만 전환해야 할 것 같아요. –