파이썬에서 사이트를 긁어 내기 위해 가짜를 만듭니다.

내가 긁어 모으려고하는 사이트는 js를 사용하여 쿠키를 만듭니다. 내가 생각한 것은 파이썬으로 쿠키를 만든 다음 그 쿠키를 사용하여 사이트를 긁을 수 있다는 것입니다. 그러나, 나는 그것을하는 어떤 방법을 모른다. 아무도 아이디어가 있니?파이썬에서 사이트를 긁어 내기 위해 가짜를 만듭니다.

출처

2009-07-13 John Jiang

사이트가 사이트에서 온 것인지 확인하기 위해 사이트에 디지털 서명을 삽입 할 수 있기 때문에 일반적으로 작동하지 않습니까? – Tom

자바 스크립트를 사용하여 쿠키가 어떻게 생성되는지 알 수 있습니다. –

요청에 쿠키를 추가하는 예는 Python httplib2 - Handling Cookies in HTTP Form Posts을 참조하십시오.

종종 웹 기반 응용 프로그램에서 작업을 자동화해야합니다. HTTP를 통해 실제 사용자의 상호 작용을 시뮬레이션하여 프로토콜 수준에서 을 수행하고 싶습니다. 파이썬에는 urllib (상위 레벨 웹 인터페이스) 및 httplib (하위 레벨 HTTP 인터페이스)와 같은 두 가지 기본 제공 모듈 이 함께 제공됩니다.

출처

2009-07-13 02:13:49

+1은 정말 유용한 라이브러리처럼 보입니다. 매우 관련성이 높은 링크! –

감사합니다. 나는 그럭저럭 일할 수있었습니다. :) –

더 많은 관련 브라우저 에뮬레이션 (쿠키 설정 포함)을 수행하려는 경우 mechanize을 살펴보십시오. 시뮬레이션 기능이 거의 완성되었습니다 (불행히도 Javascript를 지원하지 않습니다). 나는 그것을 사용하여 여러 성공 요인을 가진 스크래퍼를 만들었습니다.

출처

2009-07-13 07:14:21 jkp

몇 가지 리모컨 브라우저 솔루션이 있습니다. 저는 셀렌을 좋아합니다. 특히 가상 프레임 버퍼 Xwindows에서 실행할 수 있기 때문에 셀레늄을 좋아합니다. (스크린 샷은 여전히 잘 작동합니다.) 다른 사람들에 대해서는 많이 알지 못합니다. –

mechanize는 브라우저 자동 판매기가 아니며 HTTP 요청 및 응답 수준에서 브라우저를 에뮬레이션합니다. – jkp

이것은 재미있어 보이고, 나는 그것에 대해 살펴볼 것입니다. –

파이썬에서 사이트를 긁어 내기 위해 가짜를 만듭니다.

답변

관련 문제