URL이 지정된 파일을 다운로드하고 콘텐츠 처리와 동일한 파일 이름을 저장하십시오.

Question

How to download a file using python in a 'smarter' way?에서이 코드를 받았습니까?

하지만 오류가 발생합니다 :

in download 
    r.close() 
    UnboundLocalError: local variable 'r' referenced before assignment 

이 또한 내가 파일 만 PDF해야 다운로드 할 수있는 조건을 추가하고 싶습니다.

import urllib2 
import shutil 
import urlparse 
import os 


def download(url, fileName=None): 
    def getFileName(url,openUrl): 
     if 'Content-Disposition' in openUrl.info(): 
      # If the response has Content-Disposition, try to get filename from it 
      cd = dict(map(lambda x: x.strip().split('=') if '=' in x else (x.strip(),''),openUrl.info()['Content-Disposition'].split(';'))) 
      if 'filename' in cd: 
       filename = cd['filename'].strip("\"'") 
       if filename: return filename 
     # if no filename was found above, parse it out of the final URL. 
    return os.path.basename(urlparse.urlsplit(openUrl.url)[2]) 

    req = urllib2.Request(url) 
    try: 
     r = urllib2.urlopen(req) 
    except urllib2.HTTPError, e: 
      print e.fp.read() 
    try: 
      fileName = fileName or getFileName(url,r) 
      with open(fileName, 'wb') as f: 
       shutil.copyfileobj(r,f) 
    finally: 
      r.close() 

download('http://www.altria.com/Documents/Altria_10Q_Filed10242013.pdf#?page=24') 

이 URL을 완전히 잘 작동 : http://www.gao.gov/new.items/d04641.pdf 그래서 내 질문은 일부 URL을 위해 일하지만, 위에서 언급 한 것과 같은 URL을 완전히 잘 작동하지 않는 이유입니다.

Answer 1

언 바운드 로컬 오류가 발생하기 전에 urllib2.urlopen (req)이 실패한 방법에 대해 설명하는 오류 메시지를 출력한다고 가정합니다. 그렇다면 print e.fp.read() 뒤에 줄에 raise을 추가하면 문제가 다르게 보일 것입니다.

Answer 2

이것은 범위 문제입니다. 함수의 시작 부분에서

는 정의

r=None 

다음, 대신 r.close()를 호출하는, 다음을 수행하십시오

if r: 
     r.close() 

Answer 3

무엇이 일어나고있는 것은 첫째 예외가 있다는 것이다 걸러 내기 : r이 정의되지 않았더라도 (예외가 발생했기 때문에) except urllib2.HTTPError 코드가 계속됩니다.

사용하고 싶습니다. r = urllib2.urlopen(req)가 성공했을 경우 귀하의 try/except 블록의 else 절은 나머지 코드를 실행합니다 :

def download(url, fileName=None): 
    def getFileName(url,openUrl): 
     if 'Content-Disposition' in openUrl.info(): 
      # If the response has Content-Disposition, try to get filename from it 
      cd = dict(map(lambda x: x.strip().split('=') if '=' in x else (x.strip(),''),openUrl.info()['Content-Disposition'].split(';'))) 
      if 'filename' in cd: 
       filename = cd['filename'].strip("\"'") 
       if filename: return filename 
     # if no filename was found above, parse it out of the final URL. 
     return os.path.basename(urlparse.urlsplit(openUrl.url)[2]) 

    req = urllib2.Request(url) 
    try: 
     r = urllib2.urlopen(req) 
    except urllib2.HTTPError, e: 
     print e.fp.read() 
    else: 
     try: 
      fileName = fileName or getFileName(url,r) 
      with open(fileName, 'wb') as f: 
       shutil.copyfileobj(r,f) 
     finally: 
      r.close()