Python Scrapy로 사이트 반복하기

Question

Scrapy를 사용하여 사이트를 반복하는 방법은 무엇입니까? http://www.saylor.org/site/syllabus.php?cid=NUMBER과 일치하는 모든 사이트의 본문을 추출하고 싶습니다. NUMBER는 1 ~ 400 정도입니다.

는 I이 거미 작성했습니다 :

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from syllabi.items import SyllabiItem 

class SyllabiSpider(CrawlSpider): 

    name = 'saylor' 
    allowed_domains = ['saylor.org'] 
    start_urls = ['http://www.saylor.org/site/syllabus.php?cid='] 
    rules = [Rule(SgmlLinkExtractor(allow=['\d+']), 'parse_syllabi')] 

    def parse_syllabi(self, response): 
     x = HtmlXPathSelector(response) 

     syllabi = SyllabiItem() 
     syllabi['url'] = response.url 
     syllabi['body'] = x.select("/html/body/text()").extract() 
     return syllabi 

을하지만 그것은 작동하지 않습니다. start_url에서 링크를 찾고 있다는 것을 이해합니다. 실제로는 원하는 것이 아닙니다. 사이트를 반복하고 싶습니다. 이해가 되니?

도움 주셔서 감사합니다.

Answer 1

이 시도 :

from scrapy.spider import BaseSpider 
from scrapy.http import Request 
from syllabi.items import SyllabiItem 

class SyllabiSpider(BaseSpider): 
    name = 'saylor' 
    allowed_domains = ['saylor.org'] 
    max_cid = 400 

    def start_requests(self): 
     for i in range(self.max_cid): 
      yield Request('http://www.saylor.org/site/syllabus.php?cid=%d' % i, 
        callback=self.parse_syllabi) 

    def parse_syllabi(self, response): 
     syllabi = SyllabiItem() 
     syllabi['url'] = response.url 
     syllabi['body'] = response.body 

     return syllabi