robots.txt에서 공유 호스팅의 하위 도메인 NOT 하위 디렉토리 만 크롤링 할 수 있습니까?

Question

방금 ​​/forum 폴더가 하위 디렉토리가 아닌 하위 도메인이되도록 DNS 설정을 변경했습니다. 나는 robots.txt 파일을하고 말한다면 : 하위 디렉토리 및 하위 도메인에 대한 크롤링하지 못하게하거나

User-agent: * 
Disallow: /forum 

윌은?

서브 디렉토리의 크롤링을 허용하고 싶지만 서브 도메인의 크롤링을 허용하고 싶습니다. 참고 : 이것은 공유 호스팅에 있으므로 하위 디렉토리와 하위 도메인을 모두 방문 할 수 있습니다. 이것이 제가이 문제를 가진 이유입니다.

그래서 하위 도메인에 대해서만 크롤링을 허용 할 수 있습니까?

Answer 1

크롤링을 중지하려는 경우 올바른 방법입니다. 참고 : URL에 이미 색인이 생성 된 경우에는 삭제되지 않습니다.

내가 선호하는 방법은

에 하위 도메인 URL 에 검색 엔진 트래픽을 전송하는 메타 태그를 통해 또는 더 나은 당신은 "정규 태그" "비색은/따라"모든 페이지를 설정하는 것입니다 "http://www.yourdomain.com/directoryname/post-of-the-day"와 같은 특정 URL에

SERPs에

에서 유일하게 하나가 될 것입니다

<link rel="canonical" href="http://directoyname.yourdomain.com/post-of-the-day" /> 

최신 URL을 사용하여