치료 - 치료를 사용하면 https 웹 사이트에 로그인 할 수 있습니다.

Question

내 자격 증명을 사용하여 https 웹 사이트에 로그인 한 다음 사이트의 특정 부분을 크롤링 할 웹 크롤러를 만들려고합니다. 나는 파이썬의 Scrapty를 사용하고 있지만, 나는 내가 단지 다음 HTTPS에 대해 아무것도 표시되지 않는 웹 사이트에 있기 때문에 가능하다 100 % 확실 경우입니다 :

*cookies and session handling 
*HTTP compression 
*HTTP authentication 
*HTTP cache 

, 경우 지금 같은 아이디어는 어떻게 시작?

Answer 1

Scrapy는 https by default을 지원합니다. 스 크레이퍼를 시작할 때 URL에 올바른 프로토콜을 사용해야합니다.