1
URL에서 페이지를 요청할 때 로깅하는 프록시 서버와 다른 크기의 응답 본문이 표시됩니다. 예를 들어 url = 'http : //www.yahoo.com'인 경우 응답 본문 크기는 ~ 215k이고 squid 프록시 서버는 ~ 43k를 기록합니다.mech 페이지 크기가 squid 서버가보고 한 것보다 큽니다.
url = 'http://www.yahoo.com'
@webMech = Mechanize.new
@webMech.read_timeout = 60
@webMech.max_history = 10
@webMech.set_proxy(@proxyHost, @proxyHostPort, @userName, @password)
@webMech.user_agent='Mac Safari'
@webMech.agent.robots = true
puts @webMech.get(url).body.length
아무도 내가 조사 할 수있는 설명이 있는지 궁금합니다. 미리 감사드립니다!
아마도 압축 여부가 있습니다. – pguardiario
도움을 주셔서 감사합니다. 일부 사이트에서 압축 된 페이지를 다시 보냈습니까? lynx (동일한 프록시 서버 및 설정)와 동일한 URL을 검사했기 때문에 묻습니다. 오징어는 크기를 ~ 215k로보고했습니다. –
일부 사이트는 요청이 gzip이거나 Accept-Encoding 헤더가 수축 된 경우에만 gzip 응답 본문을 보냅니다. 기계화는 그것을 보내지 만, 스라소니는 그렇지 않을 수도 있습니다. – pguardiario