스크립트에 대한 링크가 포함 된 사이트의 평가 시스템을 구현했습니다. 그러나 사이트의 3/5 평가와 1 ~ 5 등급 평가의 대부분이 검색 엔진 크롤러 등이 통과하고 있다고 의심하기 시작했습니다. 사용되는 URL은 다음과 같이 :robots.txt의 특정 URL을 허용하지 않습니다.
User-agent: *
Disallow: /rate
이가 부정확하거나 Googlebot이 다른 사람들이 단순히 우리의 robots.txt를 무시하고 있습니다 :
http://www.thesite.com/path/to/the/page/rate?uid=abcdefghijk&value=3
우리는 우리가 우리의 robots.txt에 다음을 추가 시작했을 때?
정확하지 않은 '/ rate' URL은 허용되지 않으므로 잘못되었습니다. 아마도 존재하지 않을 것입니다. 나는 해결책을 제시 할만큼 충분한 것을 모른다. –