Scrapy : 거기에도 불구하고 수업에 액세스 할 수 없습니다.

Question

this 페이지를 긁어 내려고 했으므로 색상 이름 인 LT를 가져 오려고합니다. 파란색.

<div id="desc-options"><div class="option"><span class="label">Color:</span> LT. BLUE</div><div class="option"><span class="label">Size:</span> 6.5</div></div> 

내가 내에서 모든 것을 액세스 할 수 response.css("#desc-options")을 시도했지만 []를 반환 크롬에서 나는 HTML을 참조하십시오. 심지어 BeautifulSoup도 실패합니다.

Answer 1

찾고있는 요소는 JavaScript를 통해 동적으로 생성됩니다. 일반 HTML에서 구문 분석 할 수 없습니다.

좋은 소식은 찾고있는 데이터가 페이지에 남아있을 가능성이 있습니다. spConfig 변수를 정의하는 <script> 태그를 확인하십시오. 거기에 JSON이있는 것처럼 보입니다 ...