스팸 다운로드 파일 오류

Question

Scrapy에있는 파일 파이프 라인을 사용하여 http://opensubtitles.org의 자막 파일을 다운로드하고 있습니다.

나는 모든 http://dl.opensubtitles.org 링크 목록을 가지고 있으며, 내 스파이더는 이러한 링크를 따라 url을 파이프 라인으로 보냅니다.

시작하는 데 문제가 없으며 첫 번째 ~ 100 개의 파일을 다운로드 할 수 있습니다.

그러나, 주위 다음 링크 오류를 생성하는 것 :

2016-06-09 11:44:02 [scrapy] WARNING: File (code: 301): Error downloading file from http://dl.opensubtitles.org/en/download/vrf-108d030f/sub/24617> referred in

이 내 코드와 함께 할 수있는 뭔가가 있나요?

이 내 설정에 있습니다

class SubtitlesPipeline(object): 
    def process_item(self, item, spider): 
     return item 

감사 :

ITEM_PIPELINES = {'scrapy.pipelines.files.FilesPipeline': 1} 

FILES_STORE = 'C:/Users/Rohan/Documents/Fitroom/subtitles/subFiles' 

이 내 파이프 라인입니다!

Answer 1

이 오류는 파일 크기가 더 클 수 있으므로 다운로드 시간 초과로 인해 발생할 수 있습니다. 다운로드 시간을 늘리십시오. 설정 파일에서 이것을 시도하십시오

DOWNLOAD_TIMEOUT = 500