거미 당 치료 무작위 대기

Question

나는 치료간에 요청 사이의 임의의 대기를 사용하고 싶습니다. 그리고 그 대기는 스크레이퍼마다 설정해야합니다.

이상적으로는 주입과 같은 평균과 STDDEV, 뭔가를 설정할 수있을 것 : 각 웹 호출에

import time 
import numpy as np 

avg, stddev = 10, 5 
time.sleep(np.random.normal(loc=avg, scale=stddev)) 

.

치료 중에도 가능합니까? 아마도 커스텀 미들웨어일까요?

Answer 1

당신이 DOWNLOAD_DELAY를 사용해야합니다

및 RANDOMIZE_DOWNLOAD_DELAY

당신은 DOWNLOAD_DELAY를 설정할 수 있습니다 당신이 두 번째 (10)에 지연 시간을 설정하면 scrapy 기본적 즉 하여 무작위 것이다

Scrapy 각 요청 사이의 임의의 대기를 사용합니다 범위 (5 - 15 초) 또는

행 (딜레이 50 % + 50 % 지연) 당신은 custom_setting-1을 사용할 수 있습니다 거미 수준에서 지연을 설정 custom_setting-2

custom_settings = { 
     'DOWNLOAD_DELAY': 10 
    }