파이썬으로 큰 zip 파일 다운로드

Question

zip 파일을 반환하는 URL이 여러 개 있습니다. 대부분의 파일, 나는 다음과 같이 urllib2가 라이브러리를 사용하여 다운로드 할 수 있어요 :

request = urllib2.urlopen(url) 
zip_file = request.read() 

제가하는 데 문제는 파일 중 하나의 크기가 35 메가 바이트 (압축)이며, 내가 할 수 적이 있어요 없다는 것입니다 이 라이브러리를 사용하여 다운로드를 마칩니다. wget과 브라우저를 사용하여 정상적으로 다운로드 할 수 있습니다. 나는이 같은 chuncks에서 파일을 다운로드 시도

:

request = urllib2.urlopen(url) 
buffers = [] 
while True: 
    buffer = request.read(8192) 
    if buffer: 
     buffers.append(buffer) 
    else: 
     break 
final_file = ''.join(buffers) 

그러나이 또한 다운로드를 완료하지 않습니다. 오류가 발생하지 않으므로 디버깅하기가 어렵습니다. 불행히도 url/file 예제를 게시 할 수 없습니다.

의견이나 제안이 있으십니까?

Answer 1

내 응용 프로그램에서 복사/붙여 넣기하여 자신의 업데이트 설치 프로그램을 다운로드합니다. 블록 단위로 파일을 읽고 즉시 블록을 디스크의 출력 파일에 저장합니다.

def DownloadThreadFunc(self): 
    try: 
     url = self.lines[1] 
     data = None 
     req = urllib2.Request(url, data, {}) 
     handle = urllib2.urlopen(req) 

     self.size = int(handle.info()["Content-Length"]) 
     self.actualSize = 0 
     name = path.join(DIR_UPDATES, url.split("/")[-1]) 
     blocksize = 64*1024 

     fo = open(name, "wb") 
     while not self.terminate: 
      block = handle.read(blocksize) 
      self.actualSize += len(block) 
      if len(block) == 0: 
       break 
      fo.write(block) 
     fo.close() 
    except (urllib2.URLError, socket.timeout), e: 
     try: 
      fo.close() 
     except: 
      pass 
     error("Download failed.", unicode(e)) 

내가 필요하면 GUI 버튼에서 다운로드를 취소하는 GUI 스레드와 self.terminate의 다운로드 진행 상황을 보여 self.size 및 self.actualSize를 사용합니다.