강의 요강에 MITOPENCOURSEWARE 사이트를 긁어 모으기 위해 스콥 사용

Question

강의 요강에 MITOPENCOURSEWARE 사이트를 긁어 내 거미가 작동하지 않습니다. 누군가 내가 그 문제가 무엇인지 알아낼 수있게 도와 줄 수 있습니까? . *는 모든 강좌에 참여해야합니다. 이게 옳은 거니?

1 from scrapy.contrib.spiders import CrawlSpider, Rule 
    2 from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
    3 from scrapy.selector import HtmlXPathSelector 
    4 from opensyllabi.items import OpensyllabiItem 
    5 
    6 class MITSpider(CrawlSpider): 
    7  name = 'mit' 
    8  allowed_domains = ['ocw.mit.edu'] 
    9  start_urls = ['http://ocw.mit.edu/courses'] 
10  rules = [Rule(SgmlLinkExtractor(allow=['/.*/.*/syllabus']), 'parse_syllabus')] 
11 
12  def parse_syllabus(self, response): 
13   x = HtmlXPathSelector(response) 
14 
15   syllabus = OpensyllabiItem() 
16   syllabus['url'] = response.url 
17   syllabus['body'] = x.select("//div[@id='course_inner_section']").extract() 
18   return syllabus 

Answer 1

시도 :

rules = [ 
    Rule(SgmlLinkExtractor(allow=r'/[^/]+/[^/]+/syllabus'), 'parse_syllabus'), 
    Rule(SgmlLinkExtractor()), 
] 

첫 페이지에있는 모든 링크를 얻을하고 조심하는, 즉 링크의 많은입니다.