제품 가격이 변경되었는지 확인하기 위해 일부 스크래핑 소프트웨어를 개발 중입니다. 이렇게하려면 제품 페이지를 가져 오기 위해 웹 HTTP 요청을 보내고, 전체 HTML 페이지를 반환합니다.웹 스크래핑 : 일부 페이지에서 특정 요소를 가져 오는 방법은 무엇입니까?
단지 얻기 위해 선택 쿼리와 웹 HTTP 요청을 보낼 수 있나요 : 내 인터넷 대역폭이 빠르게
주요 질문을 실행되도록 항목이 많이 그래서 병렬을하고 있어요 확인할 수 있습니다 html 페이지의 특정 요소?
최상의 (무료/저렴한) 내기는 Html 민첩성 팩입니다. 거기에 당신이 URL에 스틱 UI를 누른 다음 추출 및 추출하려는 요소를 클릭하고 그들은 당신을 위해 정보를 생성하는 자동화 된 솔루션이 있습니다. 그걸로 큰 $$$하지만 .html Agility Pack을 사용하면 손으로 "xpath"를 만들어야합니다.
HTML 민첩성 팩을 사용하고 있습니다. 전체 HTML을 다운로드하여 –
@IvanSukhetskyi를 선택하는 것이 가능하도록 수정하십시오. HTML의 무작위 부분 만 다운로드 할 수는 없습니다. HTML은 아무 것도 아니다. 대부분의 크기는 가져올 필요가없는 스크립트, 이미지, 애니메이션, 스타일 등에서 비롯됩니다. – SledgeHammer
대상 서버가 범위 요청을 지원하지 않는 한 할 수 없습니다. 대상 서버가 범위 요구를 강조하는지 테스트합니다
특정 요소? 아니요. 스크래핑에 훨씬 유리하기 때문에 API를 확인해야합니다. – itsme86
이 공급자에 대한 API가 없습니다. –
좋은 꿈이지만 잘 모릅니다. 서버에서 페이지의 일부만을 요청하는 프로토콜의 경우. 관심있는 요소가 수신되면 스트림을 닫는 클라이언트 스트림을 사용하여 작업 할 수 있습니다. 직접 소켓 제어, 아마도?) –