JSOUP이 완료되는 HTML을 받고 있지만, 파이썬 urllib2가 작동하지 [고정]

웹 사이트 URL = 자바 (JSOUP)와 기어 때 http://m.ibuildapp.com/site/ibuildapp_3/default?filter=webapp&searchText=&searchCat=254&page=1&url=http%3A%2F%2Fibuildapp.com%2Fprojects.php%3F#2601 는 (더 AJAX 없다) 완전한 소스 코드를 얻을 does't 하지만 파이썬 urllib2가 전체를 얻을 수 HTML을 쉽게. 자바 코드 :JSOUP이 완료되는 HTML을 받고 있지만, 파이썬 urllib2가 작동하지 [고정]

Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7").timeout(10000).get();

만 파이썬 코드

import urllib2 
request = urllib2.Request("http://m.ibuildapp.com/site/ibuildapp_3/default?filter=webapp&searchText=&searchCat=254&page=1&url=http%3A%2F%2Fibuildapp.com%2Fproject$ 
opener = urllib2.build_opener() 
request.add_header('User-Agent', 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293$ 
filter=webapp&searchText=&searchCat=254&page=1&url=http%3A%2F%2Fibuildapp.com%2Fprojects$ 
data = opener.open(request).read() 
print data

으로 무엇이 잘못 될 수 절반 페이지의 소스 코드를 가져옵니다? 나는 리퍼러, 쿠키를 추가하고 헤더를 추가하려고 시도했다.

Accept-Encoding:gzip, deflate

문제

출처

2013-06-04 Manik

당신이 doc.html을 포함하여 모두의 결과를 제공 할 수있는 문제를 해결 헤더를 추가 고정 헤더를 (추가); –

해결책으로 답을 게시하고 * 수락 할 수 있습니까? 그래서 다른 사람들은 이미 해결 된 것을 볼 수 있습니다. – ollo

Accept-Encoding:gzip, deflate

이

출처

2013-06-08 08:33:11 Manik

JSOUP이 완료되는 HTML을 받고 있지만, 파이썬 urllib2가 작동하지 [고정]

답변

관련 문제