치료 전용 캐시 이미지

Question

나는 RFC2616 정책을 사용하여 해결책을 찾았지만 여전히 동일한 말을하는 것처럼 보이는 스크래퍼 실행 시간을 테스트했다. 그래서 나는 기본 정책으로 되돌아 갔다.

나는 지금은 단지 당신이

을 지정하여 정책을 덮어 쓸 수 있습니다 나의 이해에서 항목 image_urls 이제

에 내가 보내는 URL을 캐시 할 필요가

'production.pipelines.MyImagesPipeline' 

내 image_urls을 연출하고있어

class DummyPolicy(object): 

def should_cache_response(self, response, request): 
    if image_url in item['image_urls']: 
     return True 
    else: 
     return False 


def is_cached_response_valid(self, cachedresponse, response, request): 
    return True 

이 코드를 사용해도 좋습니다.

yield scrapy.Request(url, self.parse, meta={'dont_cache': True}) 

:

Answer 1

나는 특정 수율 요청에 메타 dont_cache을 추가하여 솔루션을 개발