블록 Robots.txt를

Question

에서 특정 페이지의 모든 PAGE1 URL을 즉 PAGE1/foo는/표시 줄을 허용한다이 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Disallow: /page1/
에 따르면도 차단 얻을 것이다.
Disallow: /page1

은 page1이 차단되고 page1/foo/bar will이 허용 될 수있다. 이런 일이되지
하지만, 방법이 난 단지 page1 차단하고 page1/foo/bar 크롤링 할 수 있습니다

편집 : 실제 문제는 같은 페이지가 다른 경로 /page로 및 /page/ 두 번 크롤링이다

Answer 1

왜 돈 로봇 메타 태그를 추가하면 되나요?

<meta name="robots" content="noindex, nofollow, noarchive"/>