치료 parse_item 메서드가 호출되지 않습니다

Question

여기 내 코드입니다. 내 parse_item 메소드가 호출되지 않습니다.

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 

class SjsuSpider(CrawlSpider): 

    name = 'sjsu' 
    allowed_domains = ['sjsu.edu'] 
    start_urls = ['http://cs.sjsu.edu/'] 
    # allow=() is used to match all links 
    rules = [Rule(SgmlLinkExtractor(allow=()), follow=True), 
      Rule(SgmlLinkExtractor(allow=()), callback='parse_item')] 

    def parse_item(self, response): 
     print "some message" 
     open("sjsupages", 'a').write(response.body) 

Answer 1

허용 도메인은 'cs.sjsu.edu'이어야합니다.

치료에는 허용 된 도메인의 하위 도메인을 허용하지 않습니다.

rules = [Rule(SgmlLinkExtractor(), follow=True, callback='parse_item')]