Python에서 다단계 동시 HTTP 요청

Question

파이썬에서 3 단계 웹 스크래핑을 수행해야합니다. 나는 처음에 긁어 모으는 몇 개의 기본 페이지를 가지고 있으며, 나는 그 페이지들로부터 몇 개의 선택 링크를 얻고 그들이 가리키는 페이지를 가져와 다시 한 번 더 반복해야한다. 트릭은 모든 비동기 적으로이 작업을 수행하여 모든 요청이 가능한 한 빨리 종료되도록하고 전체 요청이 단일 요청에서 차단되지 않도록하려는 것입니다. 어떻게하면 좋을까요? 이 시점까지

, 나는 다음과 같이 eventlet로 긁어 한 단계를 해왔 :

urls = ['http://example.com', '...'] 
def scrape_page(url): 
    """Gets the data from the web page.""" 
    body = eventlet.green.urllib2.urlopen(url).read() 
    # Do something with body 
    return data 

pool = eventlet.GreenPool() 
for data in pool.imap(screen_scrape, urls): 
    # Handle the data... 

을 그러나, 나는이 기술을 확장하고 중첩 GreenPool.imap 루프를 포함하는 경우, 될 때까지 차단 모든 해당 그룹의 요청이 완료되면 응용 프로그램이 필요에 따라 더 많은 요청을 시작할 수 없습니다.

Twisted 또는 다른 비동기 서버에서이 작업을 수행 할 수 있다는 것을 알고 있지만 큰 라이브러리가 필요하지 않으며 가벼운 것을 사용하고 싶습니다. 나는 제안에 열리다.

Answer 1

다음은 아이디어입니다 ... 그러나 나는 eventlet을 알지 못해서 저를 용서합니다. 나는 대략적인 개념만을 제공 할 수 있습니다.

"단계 1"풀을 생성자로 고려하십시오. queue을 작성하고 1 단계 작업자가 찾은 새 URL을 대기열에 넣으십시오.

다른 작업자 풀을 만듭니다. 이 근로자들을 대기열에서 빼내어 처리하도록하십시오. 프로세스 중에 다른 URL을 발견하면 대기열에 넣으십시오. 후속 작업으로 계속 먹을 것입니다.

기술적으로이 접근법은 1,2,3 + 단계를 넘어서 쉽게 재귀 적으로 만듭니다. 새로운 URL을 찾아 대기열에 넣으면 작업이 계속됩니다.

큐의 원래 URL로 시작한 다음 새 URL을 동일한 큐에 넣는 단일 풀을 만듭니다. 오직 하나의 수영장이 필요했습니다. 나는이 대답을 게시하고 eventlet '큐'등가가 무엇인지를 찾아 갔다 후

포스트 노트

재미는 충분히, 나는 즉시 내가 방금 설명한 정확히 보여주는 예를 발견

http://eventlet.net/doc/examples.html#producer-consumer-web-crawler

이 예에서, producer 및 fetch 방법이있다. 생산자는 큐에서 URL을 가져오고 스레드를 fetch으로 시작하기 시작합니다. fetch 그러면 새 URL이 대기열에 다시 저장되고 서로 계속주고받습니다.