사이트를 크롤링하는 동안 로그인 한 사용자처럼 행동하는 방법은 무엇입니까?

Question

POST 인증을 사용하여 크롤링 할 웹 사이트가 있습니다.

어떻게 로그인하고 암호를 사용하여이 사이트의 닫힌 섹션을 크롤링 할 수 있습니까?

Answer 1

여기이 비슷한 질문이 도움이 될 수 있습니다 : How to use Python to login to a webpage and retrieve cookies for later usage?이 너무 : Python Site Login 마지막이 : Login to website using python 로그인이 때문에 당신은/스크랩이 부분을 '폐쇄'구문 분석시키는 세션의 나머지 쿠키 로그인을 사용하는 방법을 보여줍니다. urllib도 도움을 요청하십시오.

Answer 2

urllib2를 사용하여 POST 인증을 수행하고 크롤링 할 수 있습니다. 그러나 urllib2를 아직 배운 적이 없다면 멋진 requests 라이브러리를 사용하는 것이 훨씬 나을 것입니다.

http://docs.python-requests.org/en/latest/index.html에서 지침과 실제 튜토리얼을 찾을 수 있습니다.

패키지를 설치하려면 pip install requests을 실행하십시오. Mac 또는 다른 유닉스 시스템에서,이 sudo pip install requests

Answer 3

처럼 sudo으로 명령을 접두사해야합니다 당신은 "Web scraping: Reliably and efficiently pull data"

강의는 2h39m이다라는 제목의 Asheesh Laroia에 의해 최근 PyCon 이야기를 시청한다고 그러나 제비 뽑기를 포함하고, 친한 보조에있다. 사실, 내가 본 최고의 프로그래밍 비디오 중 하나입니다.