응답 전에 파이썬 urllib2 요청

파이썬으로 빠른 크롤러를 작성하려고하지만 스레드와 함께하고 싶지 않습니다. Scrapy가 단일 스레드이고 응답을 반환하기 전에 요청할 수있는 몇 가지 기사를 읽었습니다. urllib 또는 urllib2와 동일한 작업을 수행하고 응답이 반환되기 전에 새 요청을하는 예제 코드가 있는지 궁금합니다.응답 전에 파이썬 urllib2 요청

미리 감사드립니다.

출처

2012-05-05 user1377324

Scrapy는 오픈 소스입니다. 즉, 상당히 스레딩을 사용하는 트위스트를 사용하므로 스레드인지 확실합니다. –

네, 그렇습니다. Scrapy는 훌륭합니다. 요청 및 응답과 같은 기능이 많이 포함되어 있습니다. 나는 요청에 응답하고 요청을 응답하는 방법을 찾기 위해 노력하고 있는데, 5 개의 요청과 같이 2 차 요청을 보내는 첫 번째 응답 반환을 기다리지 않습니다. – user1377324

당신은 이미 그 스레드에 대답했습니다. –

치료는 괜찮지 만, 대안을 찾고 있다면 Eventlet을보십시오. greenthreads (일명 coroutines)을 기반으로합니다. 그들은 심지어 간단한 웹 크롤러 예제를 가지고 있습니다. - http://eventlet.net/#web-crawler-example

출처

2012-05-05 21:03:33 spinlok

감사합니다, spinlok, Eventlet에 대해 살펴 보겠습니다. – user1377324

응답 전에 파이썬 urllib2 요청

답변

관련 문제