1
"Scrapy crawl posts"명령을 사용하여 Scrapy를 사용하여 블로그를 크롤링하고 있습니다. 5 분마다 새 게시물을 확인해야합니다. 어떻게해야합니까?scrapy를 사용하여 x 분/초마다 웹 사이트를 크롤링합니다.
미리 감사드립니다.
A
답변
1
/etc/crontab 파일을 편집하여이 행을 포함시킵니다. 5 분마다 스크립트가 실행되도록 설정합니다. 창에 대한
*/5 * * * * unix-username cd /your/path/to/scrapy-project/;scrapy crawl posts
당신이 대답 좀 걸릴 수 있습니다 당신은 UNIX를 사용하거나 창에있는 있습니까 here
관련 문제
- 1. 치료를 사용하여 AngularJS 기반 웹 사이트를 크롤링합니다.
- 2. simple_html_dom 전체 웹 사이트를 크롤링합니다.
- 3. crawler4j가 작동하지 않는 웹 사이트를 다시 크롤링합니다.
- 4. 리디렉션이있을 경우 Google에서 전체 사이트를 크롤링합니다.
- 5. Google Apps Script Bot마다 반복적으로 웹 사이트를 크롤링합니다.
- 6. 전체적으로 웹 사이트를 크롤링하기 위해 Scrapy를 기반으로 한 Python 함수
- 7. Scrapy를 사용하여 로그인하지 못했습니다.
- 8. Scrapy를 사용하여 쇼핑몰 데이터 크롤링
- 9. Scrapy를 사용하여 웹 사이트의 검색 기능 사용
- 10. Rails rake task는 계속 실행되면서 더 많은 RAM을 먹습니다 (mechanize를 사용하여 웹 사이트를 크롤링합니다)
- 11. 어떻게 재귀 scrapy를 사용하여 내가 완전한 웹 사이트를 크롤링 할 scrapy
- 12. Scrapy를 사용하여 테이블에서 데이터를 추출하려고합니다.
- 13. 스팸으로 인증을 사용하여 재귀 적으로 웹 페이지를 크롤링합니다.
- 14. 자바를 사용하여 weppage의 IFrame 콘텐츠를 크롤링합니다.
- 15. python 및 selenium을 사용하여 웹을 크롤링합니다.
- 16. Scrapy를 사용하여 다음 링크 받기
- 17. Scrapy를 사용하여 숨겨진 요소 받기
- 18. Scrapy를 사용하여 이미지를 다운로드하는 방법?
- 19. Scrapy를 사용하여 테이블을 긁어 모으기
- 20. Scrapy - Spider가 중복 URL을 크롤링합니다.
- 21. 링크가 표시된 순서대로 링크를 크롤링합니다.
- 22. Scrapy를 사용하여 웹 사이트에서 주소를 가져 오는 방법은 무엇입니까?
- 23. 웹 페이지의 구조를 모른 채 Scrapy를 사용하여 모든 텍스트 스크랩
- 24. Scrapy를 사용하여 웹 사이트의 모든 일반 텍스트를 얻으려면 어떻게해야합니까?
- 25. 버튼을 사용하여 웹 사이트를 연결하십시오.
- 26. PHP를 사용하여 웹 사이트를 크롤링
- 27. WebClient를 사용하여 웹 사이트를 핑하십시오
- 28. log4net을 사용하여 웹 사이트를 추적하십시오.
- 29. 치료 - 전체 웹 사이트를 크롤링
- 30. Scrapy를 사용하여 두 사이트에서 항목을 반복적으로 가져옵니다.
을 언급? –
@ kiran.koduru windows :) – user6712306
@ user6712306이 코드 공유 사이트가 아닙니다. 도움이 필요하면 도움을 요청한 후 코드를 입력하십시오. –