Scrapy POST 요청이 사이트를 크롤링하기 위해 노력하고있어

Question

작동하지 않는 경우가 작동하지 않습니다

yield FormRequest.from_response(response,formdata={'cms_handler_name': 'jpintl%3Aon_setUserPreference', 
              'country_code': 'AE'}, 
           dont_click=True, 
           callback=self.parse_all_categories) 

, 내가 얻을 통화로 USD로 응답. 나는 우편 배달부를 사용하여 그것을 시도했지만 심지어 작동하지 않습니다. 도움이 필요하십니까? 웹 사이트 상단 막대에서 통화를 변경하면 http 요청을 확인할 수 있습니다. 이런 당신은 단지 적절한 쿠키 customer_country_code을 설정하면 어떻게

Answer 1

:

from scrapy.http import Request 
from scrapy.selector import HtmlXPathSelector 
from scrapy.spider import BaseSpider 


class ExampleSpider(BaseSpider): 
    name = 'example' 
    allowed_domains = ['jadopado.com'] 

    def start_requests(self): 
     yield Request(url='http://jadopado.com/', cookies={'customer_country_code': 'AE'}) 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 

     print hxs.select("//div[@class='country_code']/text()").extract()[0] 

인쇄 :

AED

그래서, 통화가 성공적으로 설정됩니다.

희망이 있습니다.