스크래핑 중 쿠키를 처리하는 방법

서버에 대한 다중 http 연결을 사용하여 가능한 한 빨리 실행되도록 설계된 작은 스크래핑 유틸리티를 작성하는 중입니다. 이 상황에서 하나 개의 핸들 쿠키를 수행하는 방법스크래핑 중 쿠키를 처리하는 방법

.. 예를 들어

첫 번째 연결이 추가 연결을 원인을 발사하지 않을 ,, 뭔가에 쿠키를 설정 링크 페이지, 서버를 긁는 경우 쿠키가 동기화되지 않았습니까?

출처

2012-03-29 Ashod Apakian

답변은 실제로 서버에 따라 다릅니다.

서버가 각 요청마다 쿠키를 변경하면 예가 쿠키를 버립니다. 이 정확히 다시 정확히 서버에 의존합니다.

쿠키가 로그인 할 때 한 번만 설정되었다고하면,별로 중요하지 않습니다.

출처

2012-03-29 18:16:39 huntsfromshadow

그게 내가 생각한 것입니다. 그러나, 내가 물어야 할 이유는 분명히 googlebot이 항상이 문제에 직면해야한다는 것이며, 크롤링 과정을 느려지 게됩니다. - 아이디어 나 제안 사용할 수있는 계단식 대기열 알고리즘은 무엇입니까? –

아닙니다. 나는 클라이언트를 위해 근근이 살아가는 응용 프로그램을 작성했으며, 모든 솔루션에 맞는 크기는 아니다. 각각의 상황은 그 상황을 위해 특별히 설계된 것입니다. 가장 좋은 해결책은 브라우저를 사용하여 쿠키 값과 서버에서 보내고받는 내용을 주시하고 서버 인 블랙 박스가 어떻게 만기가되는지 확인하는 것입니다. 행운을 빕니다. – huntsfromshadow

thanks, mind at rest –

스크래핑 중 쿠키를 처리하는 방법

답변

관련 문제