리디렉션 Google 로봇 전용

Question

Google 로봇을 사람이 아닌 리디렉션 할 수있는 방법이 있습니까?

나는 꽤 잘 순위 페이지를 가지고 있지만에 입력하면 직접이 htaccess로 또는 robots.txt에 가능합니다 URL에 있지만

목록 검색 엔진을 통해 사용할 수에서 탈퇴 하시겠습니까?

Answer 1

: 여기

Answer 2

robots.txt가 작업을 수행하지만 며칠 (주) 정도 걸릴 수 있습니다. 단지 robots.txt에 의존하지 마십시오 http://www.robotstxt.org/orig.html

Answer 3

은 당신이 찾고있는 것입니다. 모든 크롤러가 이것을 존중하지는 않습니다.

봇이 웹 서버에 액세스하고 있음을 알리는 특정 표지판을 찾아 원하는 HTTP 응답을 보낼 수 있습니다.

예 : 나는 Yandex 주차 봇에 의해 자주 액세스에 의해 방해 받고 :

RewriteCond %{HTTP_USER_AGENT} Yandex [NC] 
RewriteRule .* http://go.away [L,R=301]