응답에 아무 것도 없습니다

Question

warframe.market에 대한 매우 간단한 웹 스크레이퍼를 작성하려고하는 자습서를 따르고 있습니다. 나는 학교에서 약 1 년의 코딩 경험을 가지고 있지만 파이썬 경험은 없다. 나는 단순히 웹 사이트에서 항목의 가격을 얻고 싶다.

scrapy shell "https://warframe.market/items/hydroid_prime_set" 

다음 내가 긁어하려고 개별 요소를 찾기 위해 웹 페이지를 검사 : 나는 페이지를 긁어 다음을 사용했다. 나는 내가 원하는 결과를 보려고이 명령을 사용 :

response.css("div.order-row.d-flex.col-12").extract() 

이 작동하지 않았다, 그래서 내가 스크랩 한 것을 볼 수 view(response)을 사용하고, 내 cmd를 그냥이 시점에서 끝없이 기다립니다.

HTTPS가 스크래핑을 중지합니까? 내 응답에서 잘못된 CSS를 선택하고 있습니까? 웹 페이지가 너무 큽니까? 누군가 내가 잘못 갔는지 보여 주시겠습니까?

감사

Answer 1

응답은 비어 있지이지만, (당신이이 response.body 검사 유효성을 검사 할 수 있습니다) 예를 들어 쉘에서 이것을 시도 자바 스크립트를 사용하여 렌더링 된 것 :

import json 
data = json.loads(response.css('#application-state::text').extract_first()) 
for order in data.get('payload',{}).get('orders', []): 
    print '"{}" price: {}'.format(order.get('platinum'), 
            order.get('user',{}).get('ingame_name'))