거미에게서 URL을 얻을 수 없다 (치료)

Question

SitemapSpider에서 긁어 모으는 URL 수를 얻으려고합니다. 나는 start_requests 방법을 오버라이드하려했지만 그것은 0을 출력합니다. 나는 sitemap_url에 수천 개의 URL을 포함하고 있습니다. 나는이 URL의 수를 얻고 싶다.

이것은 내가 시도한 것이지만 사이트 맵의 URL은 start_urls에 없다고 가정합니다.

class MainSpider(SitemapSpider): 
    name = 'main_spider' 
    allowed_domains = ['...'] 
    sitemap_urls = ['http://.../sitemap.xml'] 

    def start_requests(self): 
     r = super(MainSpider, self).start_requests() 
     self.urls_count = len(self.start_urls) 
     print self.urls_count 
     return r 

번호를받는 방법을 알고 계십니까?

Answer 1

아래에서 사용하실 수 있습니다. super(MainSpider, self).start_requests()

class MainSpider(SitemapSpider): 
    name = 'main_spider' 
    allowed_domains = ['...'] 
    sitemap_urls = ['http://.../sitemap.xml'] 

    def start_requests(self): 
     r = super(MainSpider, self).start_requests() 
     r_list = list(r) 
     print len(r_list) 
     return r_list 

는 발전기 및 목록은 당신이 만든 전체 수율을 얻을 수 있는지 확인합니다 반환합니다. 그러나 이렇게하면 대형 사이트 맵의 경우 스크래퍼 시작 속도가 느려집니다. 실제 치료는 지연으로 시작될 수 있습니다.