python urllib2가 올바른 웹 페이지를 가져올 수 없습니다.

Question

urllib2 및 beautifulsoup를 사용하여 거미를 쓰고 있습니다. 하지만 몇 가지 문제가 생깁니다.

1. 웹 페이지를 제대로 다운로드 할 수 없습니다. 나는 리눅스 터미널에

   GET 'http://thesite.html' ,

   wget 'http://thesite.html',

   curl -O 'http://thesite.html',

을 시도했지만 많은 질량을 가지고, 잘못된 코덱처럼 보인다.

2. 그런 다음 file_get_contents('http://thesite.html')을 사용해 보았지만 올바른 웹 페이지를 가져올 수 없습니다.

3. 그런 다음 시도해 보니 urllib2.urlopen('http://thesite.html')을 사용할 수 없습니다.

4. 인코딩을 검색 할 수 없습니다. s = urllib2.urlopen('http://thesite.html') print chardet.detect(s) 출력 {'confidence':0.0, 'encoding':None}
5. 나는 또한 urllib.request와 python3을 시도, 나는 바이트 문자열을 얻을 수 있습니다,하지만 난이 UTF-8로 바이트를 디코딩 할 때, 나는 오류 메시지를 받았습니다.

누구나 도움이 될 수 있습니까? 웹 브라우저와 같은 올바른 웹 페이지를 얻는 방법.

Answer 1

다운로드 하시겠습니까? 텍스트, 또는 바이너리와 같은 것입니까? 이미지?

바이너리 파일은 wget 및 curl과 같은 표준 도구가 많은 "질량"(mess?)을 반환하는 이유를 설명 할 수 있으며 chardet.detect()은이 경우 {'confidence': 0.0, 'encoding': None}을 반환합니다.

>>> import urllib2 
>>> import chardet 

>>> s = urllib2.urlopen('http://i.stack.imgur.com/uIM9Q.png?s=32&g=1').read() # your avatar 
>>> chardet.detect(s) 
{'confidence': 0.0, 'encoding': None} 

파이썬 3에서 얻은 바이트 문자열은 어떻게 생겼습니까? 그렇지 않으면 URL, 추적 또는 기타 세부 정보를 게시하기에는 너무 끈적한 경우 해당 문자열을 약간 게시 할 수 있습니까?