셀러리와 스크랩드의 차이점

Question

나는 포시아 (Portia)를 사용하여 작은 병 거미를 만들었다. Scrapyd에 배포하고 잘 작동합니다.

검색 후 나는 우리가 거미를 예약하기 위해 셀러리를 사용할 수 있음을 발견했다.

실제로 차이점은 무엇입니까 스크랩과 셀러리?

아무도 도와 줄 수 있습니까?

감사합니다.

Answer 1

Scrapyd은 주로 스패머 스파이더 배포에 중점을 두는 반면 Celery은 비동기 작업을 분산되고 확장 가능한 방식으로 실행하기위한 일반적인 프레임 워크입니다.

다른 하나를 수행 할 수 있습니다. 그러나 당신이 알고있는 치료법은 웹 긁기에 초점을 맞추고 있습니다. 그러나 셀러리를 사용하면 작업을 정의하게됩니다.

scrapyd scrapyd : Scrapyd는 새로운 거미를 "배포"할 때 scrapy crawl myspider을 배포합니다. Scrapyd는 새로운 스파이더와 몇 가지 기능을 업로드하고 시작할 수있는 웹 서비스도 제공합니다.

scrapy + celery : 구현할 필요가있는 셀러리 작업은 기본적으로 scrapyd에 주어진 것과 같습니다. 이 방법의 주된 장점은 셀러리에서 직접 작업을 정의하기 때문에 scrapyd가 제공하지 못하는 요구 사항이 있다면 셀러리를 사용하여 구현하는 것이 더 쉬울 것입니다. IMOCelery에서

:

셀러리는 분산 메시지 전달을 기반 비동기 작업 큐/작업 큐입니다. 실시간 운영에 초점을 맞추지 만 스케줄링도 지원합니다.

Scrapyd에서 :

Scrapyd는 Scrapy 거미를 배포하고 실행하기위한 응용 프로그램입니다. JSON API를 사용하여 프로젝트를 배포 (업로드)하고 스파이더를 제어 할 수 있습니다.