쿠키를 변경하는 대신 완전히 쿠키를 지우십시오.

너무 많은 페이지에서 세션 쿠키를 사용하고 있기 때문에 스크랩하는 동안 때때로 차단되는 것으로 나타났습니다. 크롤링하는 동안 모든 쿠키를 완전히 삭제하여 크롤러의 초기 상태로 돌아갈 수 있습니까?쿠키를 변경하는 대신 완전히 쿠키를 지우십시오.

[치료에서 쿠키를 삭제하는 방법?] (http://stackoverflow.com/questions/21924220/how-to-clear-cookies-in-scrapy) –

감사합니다! 이 스레드를 보았지만 새 쿠키를 설정하는 방법을 설명했지만 이미 생성 된 요청에서 쿠키를 지우는 방법은 설명하지 않습니다. –

두 번째 답변을 읽으셨습니까? http://stackoverflow.com/a/21930089/1534704 –

유사한 상황에 직면했습니다. 여기서 쉽게 벗어날 수 있지만, 제가 가진 한 가지 아이디어는 CookieMiddleware를 서브 클래스 화 한 다음 jar 변수를 직접 조정할 수있는 방법을 작성하는 것입니다. 그것은 더럽지 만, 아마도 고려 가치가 있습니다.

또 다른 옵션은 기능 요청을 작성하여 적어도 쿠키를 지우는 기능이 있어야합니다. 구현하기에 1 년을 쉽게 걸릴 수 있습니다. 필요하다면 나는 여기에서 scrap devs를 특별히 신뢰하지 않습니다.

나 자신에게 cookiejar 메타를 사용할 수 있으며 깨끗한 상태로 돌아가려면 정수 만 증가시키는 등의 다른 값을 사용하면됩니다.

2017-05-25 10:13:32 Pooh

답변