Scrap Newbie Question - 자습서 파일 작업을 할 수 없습니다.

Question

저는 파이썬과 스콥의 완전한 초보자이므로 튜토리얼을 복제하려고 시도했습니다. 튜토리얼에 따라 www.dmoz.org 웹 사이트를 긁어 내려고 노력 중입니다.

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 

from dmoz.items import DmozItem 

class DmozSpider(BaseSpider): 
    name = "dmoz.org" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [ 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
    ] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     sites = hxs.select('//ul/li') 
     items = [] 
     for site in sites: 
      item = DmozItem() 
      item['title'] = site.select('a/text()').extract() 
      item['link'] = site.select('a/@href').extract() 
      item['desc'] = site.select('text()').extract() 
      items.append(item) 
     return items 

아래에 표시하고 내가이 웹 사이트를 통해 얻을 수 있겠 것은 다른 무언가로

은 내가 dmoz_spider.py를 구성한다.
내가 무슨 망치고있어?

Answer 1

붙여 넣은 코드에 아무런 문제가 없습니다. 문제는 다른 곳에 있어야합니다. 출력물 전체를 붙여 넣을 수 있습니까? (당신의 코멘트는 재미있는 부분이 시작되는 곳에 멈춘다 ...)

Answer 2

나는이 문제가 있었다. 튜토리얼에서 말하는대로 아래 내용을 변경했는지 확인하십시오.

열기 items.py 당신이에 클래스

class TutorialItem(Item): 
    title=Field() 
    link=Field() 
    desc=Field() 

를 변경 한 경우 참조 :

class DmozItem(Item): 
    title=Field() 
    link=Field() 
    desc=Field() 

Answer 3

당신은 settings.py 파일이 들어있는 디렉토리를 이동하고

scrapy를 실행해야 거기에서 dmoz를 크롤링합니다.

는 명확성을 위해 https://github.com/scrapy/dirbot에 대해 프로젝트의 구조에 따라