치료 파이프 라인 오류가 이름을 가져올 수 없습니다.

Question

저는 Python 프로그래밍 및 치료를 처음 사용합니다. 내 크롤러를 설치했고 지금까지 이미지를 다운로드하는 방법을 알아 내려고 노력할 때까지 작동했습니다. 내가 얻는 오류는 이름 NsiscrapePipeline을 가져올 수 없습니다. 나는 내가 무엇을 잘못하고 있는지 알지 못한다. 그리고 나는 새로운 것의 일부 문서를 이해하지 못한다.

항목

from scrapy.item import Item, Field 

class NsiscrapeItem(Item): 
    # define the fields for your item here like: 
    # name = Field() 
    location = Field() 
    stock_number = Field() 
    year = Field() 
    manufacturer = Field() 
    model = Field() 
    length = Field() 
    price = Field() 
    status = Field() 
    url = Field() 

    pass 

스파이더

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 
from NSIscrape.items import NsiscrapeItem 
from scrapy.http import Request 
from scrapy.contrib.pipeline.images import NsiscrapePipeline 
import Image 

class NsiscrapeSpider(BaseSpider): 
    name = "Nsiscrape" 
    allowed_domain = ["yachtauctions.com"] 
    start_urls = [ 
    "http://www.yachtauctions.com/inventory/" 
    ] 

    def parse(self, response): 
    hxs = HtmlXPathSelector(response) 
    sites = hxs.select('//tr') 
    items = [] 
    for site in sites: 
    item = NsiscrapeItem() 
    item['location'] = site.select('td[2]/text()').extract() 
    item['stock_number'] = site.select('td[3]/a/text()').extract() 
    item['year'] = site.select('td[4]/text()').extract() 
    item['manufacturer'] = site.select('td[5]/text()').extract() 
    item['model'] = site.select('td[6]/text()').extract() 
    item['length'] = site.select('td[7]/text()').extract() 
    item['price'] = site.select('td[8]/text()').extract() 
    item['status'] = site.select('td[10]/img/@src').extract() 
    item['url'] = site.select('td[1]/a/@href').extract() 
    item['image_urls'] = site.select('td/a[3]/img/@data-original').extract() 
     item['images'] = item['image_urls'] 
     yield Request(item['url'][0], meta={'item':item}, callback=self.product_detail_page) 


    def product_detail_page(self, response): 
    hxs = HtmlXPathSelector(response) 
    item = response.request.meta['item'] 
    #add all images url in the item['image_urls'] 
    yield item 

설정 뭔가

from scrapy.item import Item 

class NsiscrapePipeline(Item): 
image_urls = Field() 
    images = Field() 

    def process_item(self, item, spider): 
     return item 

말이냐하면 내가 확실하지 오전

ITEM_PIPELINES = ['scrapy.contrib.pipeline.image.NsiscrapePipeline'] 
IMAGES_STORE = 'c:\Python27\NSIscrape\IMG' 
IMAGES_EXPIRES = 90 

파이프 라인이이 파일 도와주세요 라이브러리 :)의 일부가 아닌

오류

File "NSIscrape\spiders\NSI_Spider.py", line 9, in <module> 
from scrapy.contrib.pipeline.images import NsiscrapePipeline 
ImportError: cannot import name NsiscrapePipeline 

Answer 1

Heres 내 마지막 코드는 작동합니다. 있었다 두 문제

1 : I는 두 번째 요청에있을 needede 슬래시 없어진 -> // TD [1]/A [3]/IMG/@ 데이터 오리지널

2 : 이미지가 표시 될 전체 URL을 확인한 다음 기본 URL 또는 허용 된 URL과 이미지 URL을 함께 결합해야했습니다.

def parse(self, response): 
    hxs = HtmlXPathSelector(response) 
    images = hxs.select('//tr') 
    url = [] 
    for image in images: 
     urls = NsiscrapeItem() 
     urls['image_urls'] = ["http://www.yachtauctions.com" + x for x in image.select('//td[1]/a[3]/img/@data-original').extract()] 
     url.append(urls) 
    return url 

Answer 2

- 적어도보고 자신의 난 당신이 도움이 될 수 ImagesPipeline

이들의 예를 찾고있는 생각 master branch

현재 ! example

p.s. 나는 당신이 클래스 이름을 맞춤 이름으로 생각하지 않는다. 적어도 scapy가 어떻게 설계되었는지는 아니다. 당신은 목록을 전달하는 시도

---

Answer 3

)하지만,이 기능은 문자열을 받아, 난 당신이 자신의 클래스를 사용하여 합리적으로 확신합니다. 목록에서 하나의 요소 만 전달하십시오 (예 : list [0]).