scrapy : HTML 문자열을 HtmlResponse 객체로 변환합니다.

Question

저는 scrapy의 HTML 응답 객체로 변환 할 원시 html 문자열을 가지고 있습니다. css 및 xpath과 같은 스콥의 response과 같은 셀렉터를 사용할 수 있습니다. 내가 어떻게 해? 이 디버깅이나 테스트를 목적으로하는 경우 모든

Answer 1

먼저, 당신은 Scrapy shell 사용할 수 있습니다

$ cat index.html 
<div id="test"> 
    Test text 
</div> 

$ scrapy shell index.html 
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip() 
u'Test text' 

는 different objects available in the shell 있습니다 세션 동안, response 및 request처럼.

---

또는 당신이 HtmlResponse class를 인스턴스화하고 body에 HTML 문자열을 제공 할 수 있습니다

>>> from scrapy.http import HtmlResponse 
>>> response = HtmlResponse(url="my HTML string", body='<div id="test">Test text</div>') 
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip() 
u'Test text'