Scrapy + 요청 매개 변수의 변경

Question

Scrapy을 사용하여 웹 사이트를 크롤링하고 있습니다. 크롤링해야하는 링크는 http://www.somesite.com/details.html?pageId=<some_integer_id>입니다. some_integer_id의 값은 1에서 100 (정확히 100이 아님)까지 확장됩니다. 내가 할 것은 이것이다 :

def __init__(self): 
    self.start_urls = self.generateURLs() 

이 같은 Scrapy의 start_urls의 값을 설정

def generateURLs(self): 
    url_list = [] 
    for i in range(1, 101): 
     url_list.append('http://www.somesite.com/details.html?pageId=%d' % i) 
    return url_list 

이 기능을 구석 구석 :

1.I는 URL 목록을 생성하는 함수를 작성

Scrapy을 사용하는 것이 권장되는 방법입니까, 아니면 요청 매개 변수의 값을 변경해야 할 때 더 좋은 방법이 있습니까?

감사합니다.

Answer 1

이 방법은 훌륭하게 들리지만 "황금색"방법은 없습니다.

그러나, 고려 Scrapy 같은 start_requests의 재정을 위해 당신이 선택할 수 start_requests를 호출

def start_requests(self): 
    for i in range(1, 101): 
     yield Request(url='http://www.somesite.com/details.html?pageId={0}'.format(i), callback=self.my_callback) 

미치는 영향은 적은 코드와 동일합니다.