거미가 긁어 낸 페이지 수를 찾는 방법

파이썬에서 Scrapy를 사용하여 웹 사이트에서 데이터를 긁어 모으고 있습니다.거미가 긁어 낸 페이지 수를 찾는 방법

웹 사이트에서 데이터를 성공적으로 제거했지만 스파이더가 몇 페이지를 긁어 냈는지 알고 싶습니다.

Scrapy 통계는 다음과 같다 :

코드는 어디에 있습니까? – Frrank

코드를 표시해야합니다. –

scrapy은 페이지를 요청하는 데 requests을 사용하고 웹 서버에서 responses을 얻습니다. 이와 같이 분류 된 통계는 유익합니다.

downloader/request_count: 421 
downloader/response_count: 421 
downloader/response_status_count/200: 420 
downloader/response_status_count/404: 1

그래서 scrapy 421 개 요청을 만들어 420 번 유효한 응답 (코드 200)를 얻었다. 한 번 응답이 없었습니다 (코드 404).

2017-05-23 13:12:06

감사합니다. –

420 페이지.

통계의 downloader/response_status_count/200 필드에서 확인할 수 있습니다.

2017-05-23 13:07:47

고맙습니다. downloader/response_count : 421의 의미는 무엇입니까? –

답변