사용자가 .xml에 액세스하지 못하게하지만 봇이 크롤링하도록 허용

Question

.httacess에서 직접 .xml 파일에 액세스하도록 사용자를 차단하지만 Google, MSN 또는 Yahoo 봇이 계속 크롤링하고 액세스 할 수있게하려면 어떻게해야합니까?

내 httacess : 만이 IP를 얻을 수 있도록 할 수 있도록

<IfModule mod_rewrite.c> 
RewriteEngine On 
RewriteCond %{HTTP_HOST} ^www.example.com$ [NC] 
RewriteRule ^(.*)$ http://example.com$1 [R=301,L] 
RewriteBase/
RewriteRule ^index\.php$ - [L] 
RewriteCond %{REQUEST_FILENAME} !-f 
RewriteCond %{REQUEST_FILENAME} !-d 
RewriteRule . /index.php [L] 
RewriteRule ^sitemap.xml$ /sitemap.php [L] 
</IfModule> 

## EXPIRES CACHING ## 
<IfModule mod_expires.c> 
ExpiresActive On 
ExpiresByType image/jpg "access 1 year" 
ExpiresByType image/jpeg "access 1 year" 
ExpiresByType image/gif "access 1 year" 
ExpiresByType image/png "access 1 year" 
ExpiresByType text/css "access 1 month" 
ExpiresByType text/html "access 1 month" 
ExpiresByType application/pdf "access 1 month" 
ExpiresByType text/x-javascript "access 1 month" 
ExpiresByType application/x-shockwave-flash "access 1 month" 
ExpiresByType image/x-icon "access 1 year" 
ExpiresDefault "access 1 month" 
</IfModule> 
## EXPIRES CACHING ## 

Answer 1

잘못 ..., IP의 전체 목록은 자신의 봇에서 사이트를 조회 할 IP 주소 무엇인지 모든 봇 소유자 요청에 의해 시작 응답.

그들은 봇이 일반 사용자와 다른 결과를 얻을 때 싫어하는 것을 포함하여 여러 가지 이유로 답변을 거부합니다. 질문을 무시합니다. 본질적으로 사용자가 돈을 제공한다고 생각하도록 조작하려고하기 때문에 실제로 제공하지 않습니다. 그래서 당신은이 단계에서 영원히 머물러있을 것이며 다음 단계를 알 필요가 없습니다.