파이썬을 사용하여 URL을 여는 데 시간이 걸리는 문제가 있습니다.

Question

저는 url을 열고 해당 url에서 보낸 전자 메일 및 숫자와 같은 데이터를 가져올 python 프로그램을 설계했습니다. 주요 문제는 매우 느리고, URL에서 데이터를 가져 오는 속도를 높이는 방법이 있는지 알고 싶습니다.

일부 사양 :

1. 프로그램 파이썬이다. 내가

오프너 = urllib2.build_opener() opener.addheaders = [('사용자 에이전트'를 검색하고 가져 오는에 대한 URL을

BeautifulSoup로를 여는 urllib2.open 사용하고

, '모질라 /5.0 ')] 지금 무엇을

with open('Labgodata.csv') as csvfile: 
     reader = csv.DictReader(csvfile) 
     for line in reader: 
      sleep(0.2) 
      getdata(line['URL']) 

Answer 1

거야? 프로그램이 정확히 무엇을 말하고 있는지 정확히 알기는 어렵습니다.

하지만 URL에 대한 호출을 제한하는 일반 시도에서

, 페이지에서 데이터의 당신 가져 오는 많은 당신이 한 번에 필요하고 만드는 여러 경우 변수에 그 방법을 절약 할 모든 것을 잡아하려고하면 웹 페이지를 요청할 때 메모리에서 잡아내는 데 걸리는 시간이 짧습니다.