Scrapy의 다음 페이지로 어떻게 이동할 수 있습니까

Question

나는 치료를 사용하여 here에서 결과를 긁어 내려고합니다. 문제는 '더 많은 결과로드'탭을 클릭하기 전까지는 모든 클래스가 페이지에 표시되지 않는다는 것입니다.

문제

여기에서 볼 수있다 :

내 코드는 다음과 같습니다 :이 웹 사이트에 대한

class ClassCentralSpider(CrawlSpider): 
    name = "class_central" 
    allowed_domains = ["www.class-central.com"] 
    start_urls = (
     'https://www.class-central.com/courses/recentlyAdded', 
    ) 
    rules = (
     Rule(
      LinkExtractor(
       # allow=("index\d00\.html",), 
       restrict_xpaths=('//div[@id="show-more-courses"]',) 
      ), 
      callback='parse', 
      follow=True 
     ), 
    ) 

def parse(self, response): 
    x = response.xpath('//span[@class="course-name-text"]/text()').extract() 
    item = ClasscentralItem() 
    for y in x: 
     item['name'] = y 
     print item['name'] 

    pass 

Answer 1

두 번째 페이지는 AJAX 호출을 통해 생성 된 것으로 보인다.

이 https://www.class-central.com/maestro/courses/recentlyAdded?page=2&_=1469471093134

에서 JSON 파일을 검색하는 것 같다이 경우

지금은 그 URL을 보인다 : 어떤 브라우저 검사 도구의 네트워크 탭에 보면, 당신은 같은 것을 볼 수 있습니다

# so you just need to load it up with 
data = json.loads(response.body) 
# and convert it to scrapy selector - 
sel = Selector(text=data['table']) 

,536,913,632 : https://www.class-central.com/maestro/courses/recentlyAdded?page=2
반환 JSON은 다음 페이지에 대한 HTML 코드가 포함되어 매개 변수 _=1469471093134 아무것도 그래서 그냥 멀리에 다시 트림 수 없습니다 않습니다 10

코드에서이를 복제하려면 다음과 같이 시도하십시오.

from w3lib.url import add_or_replace_parameter 
def parse(self, response): 
    # check if response is json, if so convert to selector 
    if response.meta.get('is_json',False): 
     # convert the json to scrapy.Selector here for parsing 
     sel = Selector(text=json.loads(response.body)['table']) 
    else: 
     sel = Selector(response) 
    # parse page here for items 
    x = sel.xpath('//span[@class="course-name-text"]/text()').extract() 
    item = ClasscentralItem() 
    for y in x: 
     item['name'] = y 
     print(item['name']) 
    # do next page 
    next_page_el = respones.xpath("//div[@id='show-more-courses']") 
    if next_page_el: # there is next page 
     next_page = response.meta.get('page',1) + 1 
     # make next page url 
     url = add_or_replace_parameter(url, 'page', next_page) 
     yield Request(url, self.parse, meta={'page': next_page, 'is_json': True)