이렇게하는 방법입니까? 내가 그들을 구글에 표시하지 못하게하려면robots.txt의 특정 페이지를 허용하지 않으려면 어떻게해야합니까?
mydomaink.com/a/123/group/4
mydomaink.com/a/xyz/network/google/group/1
:
User-agent: *
Allow:/
Disallow: /a/*
내가 좋아하는 페이지가 있습니다.
robots.txt가 올바른 것처럼 보입니다. 100 % 확신하고 싶다면 test in in your Google's Webmaster Tools account 수 있습니다.
참고로 robots.txt의 차단 페이지는 이 아니며은 검색 결과에 표시되지 않습니다. 검색 엔진이 해당 페이지를 크롤링하지 못하게합니다. 그들이 원한다면 그들은 여전히 그들을 나열 할 수 있습니다. 페이지가 색인되고 나열되지 않도록하려면 x-robots-tag HTTP 헤더를 사용해야합니다.
아파치를 사용하는 경우 효과적으로 해당 페이지 차단하기 위해 다음 줄에 당신의 /a/ 디렉토리에 파일을 배치 할 수 있습니다 :
<IfModule mod_headers.c>
Header set X-Robots-Tag: "noindex"
</IfModule>