robots.txt. 내 테스트 하위 디렉토리에있는 모든 것을 허용하지 않으려면

Question

mysite.com에 기본 웹 사이트가 있습니다. mysite.com의 사본을 만들고 wordpress를 "mysite.com/test"에 설치했습니다.

하지만 최근에는 Google에서 내 시험에 대한 색인을 생성한다는 사실도 발견했습니다. 내 사이트 맵에는 테스트 사이트의 링크가 포함되어 있습니다.

내 robots.txt에 :

User-agent: * 
Disallow: /site/wp-admin/ 
Disallow: /site/wp-includes/ 

Sitemap: https://mysite.com/sitemap.xml.gz 

어떻게 mysite.com/test 모든 것이 그 안에 기어 확인 로봇을 만드는 방법에 대한 해달라고 가야합니까? 내 사이트 맵을 변경해야만 내 메인 사이트의 링크 만 볼 수 있습니다.

Answer 1

로봇이 mysite.com/test와 그 안에있는 모든 것을 크롤링하지 않도록하려면 어떻게해야합니까?

귀하는 robots.txt에 Disallow: /test을 넣었습니다. 물론 Sitemap에는 포함시키지 마십시오.