자동으로 Google 웹 크롤러에 로그인

Question

Google 및 기타 크롤러를 자동으로 감지하여 내 ASP.NET 웹 사이트에 로그인하고 싶습니다. 누구든지 신뢰할 수있는 방법을 찾았습니까? 로그인 부분은 간단하지만 신뢰할 수있는 부분을 찾는 것이 실제 문제입니다.

감사합니다.

Answer 1

사용자 에이전트를 살펴보십시오. googlebot이어야합니다. 보다 신뢰할 수있는 방법은 IP 주소의 역방향 조회를 수행하는 것입니다. 그것이 구글 봇인지 아닌지를 알려줍니다. 두 가지 방법을 사용합니다. 하지만 참고 : 모든 방문자에 대해 역방향 조회를 수행하므로 사이트 속도가 느려집니다.

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=80553

Answer 2

이것은 몇 가지 이유로 매우 나쁜 생각 인 것 같습니다. Google이 내 페이지 사본을 캐시하므로 사용자의 사이트에 대해 인증하지 않아도 콘텐츠를 볼 수 있습니다. 귀하의 웹 사이트의 보호 된 부분 뒤에 제공되는 웹 페이지 및 기타 문서들.

웹 크롤러를 감지하는 한 사용자 에이전트를 신뢰하지 않습니다. 아마도 크롤러가 생성 한 IP 주소 목록을 컴파일 할 수 있지만 Google에서 다른 IP 주소를 추가하면 크롤러 액세스가 거부됩니다.

방문자의 도메인이 googlebot.com 인 것을 확인하기 위해 모든 요청에 ​​대해 역방향 DNS 조회를 수행하면 Verifying Googlebot으로 제안 된 사이트가 바쁠 경우 성능이 크게 저하 될 수 있습니다.

Answer 3

당신은 모든 요청에 ​​역방향 조회를 수행 할 필요가 없습니다. 역방향 조회의 결과를 캐시하십시오. 방금 내 기록을 검토 한 결과 동일한 IP에서 오는 Googlebot이 길어지는 것을 봅니다. 이러한 동작은 보장되지 않지만 캐싱은 건전한 전략이어야합니다.

Answer 4

Google을 쉽게 색인 할 수 있지만 noarchive 메타 태그를 사용하여 사이트 페이지를 캐시하지 못합니다. 그렇게하면 콘텐츠를 노출하지 않고도 검색 가능한 장점을 얻을 수 있습니다.

그러나 처음에 와서

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156412