다운로드 한 페이지 크기 제한

Question

파이썬의 urllib2 모듈에서 다운로드하는 데이터의 양을 제한하는 방법이 있습니까? 때로는/dev/random을 페이지로 부러진 사이트에서 만나고 서버의 모든 메모리를 다 써 버리는 경우가 있습니다.

Answer 1

urllib2.urlopen은 파일과 유사한 객체를 반환하며,이 객체에서 .read(N) (적어도 이론적으로) 반환 할 데이터의 양을 최대 N 바이트로 제한 할 수 있습니다.

적극적으로 적대적인 사이트가 urllib2의 기본 오프너처럼 합리적으로 신뢰할 수있는 수신을 속일 정도로 꽤 길게 갈 수 있기 때문에이 접근법은 완전히 속임수가 아닙니다. 이 경우, 그러한 공격으로부터 자신을 보호하는 방법을 알고있는 개개인의 오프너를 구현하고 설치해야합니다 (예 : 열린 소켓 등에서 한 번에 MB 이상을 가져 오는 것과 같이).