파이썬 멀티 스레딩 및 HTTP 요청

Question

저는 유료 타사 API의 실시간 데이터를 가져 오는 Python 백엔드 웹 서버에서 작업하고 있습니다. 이 API를 매우 빠르게 쿼리해야합니다 (약 10 초당 약 150 개의 쿼리). 따라서 나는 200 개의 스레드를 생성하고 대기열에 URL을 쓰는 개념 증명을 만들었습니다. 그런 다음 스레드는 큐에서 URL을 읽고 HTTP 요청을 전송합니다. 타사 API는 지연이라는 값을 반환합니다.이 값은 서버가 요청을 처리하는 데 걸린 시간입니다. 다음은 모든 URL을 다운로드하는 POC 코드입니다 (반복하지는 않음).

_http_pool = urllib3.PoolManager() 

def getPooledResponse(url): 
    return _http_pool.request("GET", url, timeout=30) 

class POC: 
    _worker_threads = [] 
    WORKER_THREAD_COUNT = 200 
    q = Queue.Queue() 

    @staticmethod 
    def worker(): 
     while True: 
      url = POC.q.get() 
      t0 = datetime.datetime.now() 
      r = getPooledResponse(item) 
      print "thread %s took %d seconds to process the url (service delay %d)" % (threading.currentThread().ident, (datetime.datetime.now() - t0).seconds, getDelayFromResponse(r)) 
      POC.q.task_done() 

    @staticmethod 
    def run(): 
      # start the threads if we have less than the desired amount 
      if len(POC._worker_threads) < POC.WORKER_THREAD_COUNT: 
       for i in range(POC.WORKER_THREAD_COUNT - len(POC._worker_threads)): 
        t = threading.Thread(target=POC.worker) 
        t.daemon = True 
        t.start() 
        POC._worker_threads.append(t) 

      # put the urls in the queue 
      for url in urls: 
       POC.q.put(url) 
       # sleep for just a bit so that the requests don't get sent out together (this is a limitation of the API I am using) 
       time.sleep(0.3) 
POC.run() 

나는이 실행

는 처음 몇 결과는 합리적인 지연 반환됩니다

thread 140544300453053 took 2 seconds to process the url (service delay 1.782) 

그러나, 10 ~ 20 초 후에 내가 할 일 이러한 종류의 :

thread 140548049958656 took 23 seconds to process the url (service delay 1.754) 

즉, 서버가 약간의 지연으로 돌아 오더라도 내 스레드가 완료하는 데 더 오래 걸립니다 ...

다른 21 초를 소비 한 곳을 테스트하려면 어떻게해야합니까?

감사합니다.

Answer 1

코드에 profiler을 사용해야합니다.