2017-02-20 1 views
0

이 예제의 urlopen 라이브러리를 python 2.7에서 요청 라이브러리로 동시 요청을 대체 할 수 있습니까?이 코드의 urlopen을 요청 라이브러리로 대체 할 수 있습니까?

import concurrent.futures 
import urllib.request 

URLS = ['http://www.foxnews.com/', 
     'http://www.cnn.com/', 
     'http://europe.wsj.com/', 
     'http://www.bbc.co.uk/', 
     'http://some-made-up-domain.com/'] 

# Retrieve a single page and report the URL and contents 
def load_url(url, timeout): 
    with urllib.request.urlopen(url, timeout=timeout) as conn: 
     return conn.read() 

# We can use a with statement to ensure threads are cleaned up promptly 
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor: 
    # Start the load operations and mark each future with its URL 
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS} 
    for future in concurrent.futures.as_completed(future_to_url): 
     url = future_to_url[future] 
     try: 
      data = future.result() 
     except Exception as exc: 
      print('%r generated an exception: %s' % (url, exc)) 
     else: 
      print('%r page is %d bytes' % (url, len(data))) 

감사합니다.

답변

0

예, 가능합니다.

코드는 간단한 HTTP 시간 초과로 얻을 할 것 같다, 그래서 요청과 동등한은 다음과 같습니다

import requests 

def load_url(url, timeout): 
    r = requests.get(url, timeout=timeout) 
    return r.content 
관련 문제