2017-10-27 1 views
-3

나는 딜레마가 있습니다.Google bot 및 access.log 파일 크기

나는에 의해 URL에 액세스하는 동안 :

컬 -SD -L -A "모질라/5.0 (호환; Google 검색/2.1 + http://www.google.com/bot.html)"http://www.example.com/product1 는 나에게 내가 액세스 크기 36,898

을 제공합니다 에 의해 URL : 컬은 http://www.example.com/product1 그것은 나에게 크기 36,898

을 제공하지만 Googlebot이 동일한 URL 크기 8275

,691에게 접근 할 때 access.log의 보여줍니다

왜 그런지 그리고 그것을 고칠 수있는 방법을 생각해보십시오.

+1

구글 봇 관련 문제인 것처럼 보이기 때문에이 질문을 주제와 관련이없는 것으로 닫으려고합니다. 아마도 봇은 처음 8K 바이트를 읽은 후 연결을 끊도록 구성되었을 것입니다. 분명히, 그것은 당신의 파일을 필요로하지 않습니다. – madhead

+1

@madhead 그 두 번째거야! –

답변

0

글쎄, 주제에 대한 입력을 생성하지 않는 단순한 대답보다는 약간 더 흥미로운 점을 고맙게 생각합니다. 나는 그럭저럭 나 자신으로 대답 할 수 있었다. 파일 길이의 차이는 Googlebot이 파일의 gzipped 버전 (따라서 8275)을 얻었지만 컬이 압축되지 않은 버전 (36898)에 액세스했기 때문입니다.