2
같은 거미의 다른 작업으로 URL 대기열을 공유하고 싶습니다. JOBDIR 설정은 단일 작업의 상태를 저장하는 데 사용됩니다. URL 큐를 공유하기위한 솔루션이 있습니까?치료에서 작업 큐를 공유하는 방법은 무엇입니까?
A
답변
1
이것에 대해서는 scrapy-redis을 살펴볼 것입니다. 그것은 적절하게 보인다.
물론 Redis를 종속성으로 추가하는 데 신경 쓰지 않는 경우입니다.
관련 문제
- 1. Ruby와 Python 응용 프로그램간에 백그라운드 작업 큐를 공유하는 방법
- 2. MailboxProcessor를 사용하여 작업 큐를 만드는 방법은 무엇입니까?
- 3. .NET에서 작업 큐를 구현하는 방법은 무엇입니까?
- 4. MSBuild 대상에서 작업/작업을 공유하는 방법은 무엇입니까?
- 5. AFJSONRequestOperation - 실패시 작업 큐를 인터럽트
- 6. 치료에서 중첩 된 항목을 구현하는 방법은 무엇입니까?
- 7. 데이터베이스 및 큐를 공유하는 여러 Heroku 앱
- 8. 로컬로 선언 된 작업 큐를 삭제할시기/방법은 무엇입니까?
- 9. GCD 큐를 분리하는 방법은 무엇입니까?
- 10. 포인트 큐를 플롯하는 방법은 무엇입니까?
- 11. 치료에서 쿠키를 사용하는 올바른 형태는 무엇입니까
- 12. 연락처를 공유하는 방법은 무엇입니까?
- 13. 작업 영역에서 두 xcode 프로젝트간에 파일을 공유하는 방법은 무엇입니까?
- 14. 동일한 단계의 두 작업간에 Bamboo 작업 아티팩트를 공유하는 방법은 무엇입니까?
- 15. 치료에서 CrawlSpider 초기화하기
- 16. 치료에서 리디렉션이있을 때 이전 URL을 얻는 방법은 무엇입니까?
- 17. 치료에서 중복 된 URL을 강제로 크롤링하는 방법은 무엇입니까?
- 18. 치료에서 json 응답을 긁음
- 19. 치료에서 XPath를 연결하는 방법
- 20. 앱에서 데이터를 공유하는 방법은 무엇입니까?
- 21. iPhone간에 데이터를 공유하는 방법은 무엇입니까?
- 22. 원격 폴더를 공유하는 방법은 무엇입니까?
- 23. 명령으로 연결을 공유하는 방법은 무엇입니까?
- 24. 녹에서 기능을 공유하는 방법은 무엇입니까?
- 25. 컨트롤러간에 정보를 공유하는 방법은 무엇입니까?
- 26. 개발자와 DLL을 공유하는 방법은 무엇입니까?
- 27. tumblr에서 이미지를 공유하는 방법은 무엇입니까?
- 28. 프로그램간에 상태를 공유하는 방법은 무엇입니까?
- 29. appdelegate에서 NSOutputStream을 공유하는 방법은 무엇입니까?
- 30. 액세스 토큰과 공유하는 방법은 무엇입니까?
링크를 제공해 주셔서 감사합니다. URL 대기열을 유지하기 위해 redis를 사용하고 싶습니다. 나는'scrapy-redis'를 프로젝트에 적용 할 것입니다. –