start_urls의 최대 크기는 얼마입니까

Question

저는 치료와 함께 프로젝트를 진행하고 있습니다. 다음과 같이

나는 나의 start_urls 정의 :

start_urls = [] 
    for i in (1,10): 
      for j in (1,10): 
        start_urls.append(base_url + '/' + str(i) + '/' + str(j)) 

을하지만, 어떤 이유로, scrapy는 대신 모든 100 링크의 크롤링 4 링크를 선택합니다. 이 예에서

내가 단지 기어 : base_urls/1/ base_urls/l/10 base_urls/10/1- base_urls/10/10

는 이유입니까? 치료 중에 start_urls에 대한 제한이 있습니까?

Answer 1

아니요 scrapy 문제입니다.
은 2 개의 요소 및 10을 갖는 튜플을 의미합니다. 대신 range(1, 10)을 사용할 수 있습니다. 또한

100 개 링크를 원하는 경우, 사용 중 range(10) (1은, ..., 90 부여합니다) 또는 range(1, 11)이 (2은, ..., 10이 1 부여합니다)