Python Scrapy : 없으면 Xpath 건너 뛰기

Question

나는이 코드를 사용하여 몇백 페이지를 긁어 낸다. 그러나 때로는 a에 대한 xpath가 전혀 존재하지 않습니다. 스크립트를 중단하지 않고 계속 실행하여 b을 얻고 그 특정 페이지에 대해 알려 주면 어떻게 편집 할 수 있습니까?

`a = response.xpath("//div[@class='headerDiv']/a/@title").extract()[0] 
b = response.xpath("//div[@class='headerDiv']/text()").extract()[0].strip() 
items['title'] = a + " " + b 
yield items` 

Answer 1

extract()의 결과를 확인하십시오.

a = response.xpath("//div[@class='headerDiv']/a/@title").extract_first(default='') 
b = response.xpath("//div[@class='headerDiv']/text()").extract_first(default ='').strip() 
items['title'] = (a + " " + b).strip() 
yield items 

Answer 2

당신은 다음과 같이 사용할 수 있습니다 : Padraic 커닝햄의 좋은 충고와

nodes = response.xpath("//div[@class='headerDiv']/a/@title").extract() 
a = nodes[0] if nodes else "" 

nodes = response.xpath("//div[@class='headerDiv']/text()").extract() 
b = nodes[0].strip() if nodes else "" 

items['title'] = a + " " + b 
yield items 

import lxml.etree as etree 

parser = etree.XMLParser(strip_cdata=False, remove_comments=True) 
root = etree.fromstring(data, parser) 

#Take Hyperlink as per xpath: 
#But Xpath returns list of element so we have to take 0 index of it if it has element 

a = root.xpath("//div[@class='headerDiv']/a/@title") 
b = response.xpath("//div[@class='headerDiv']/text()") 

if a: 
    items['title'] = a[0].strip() + " " + b[0].strip() 
else: 
    items['title'] = b[0].strip() 

yield items