robots.txt와 메타 로봇 ​​태그 사이의 상호 작용

Question

메타 로봇이 둘 다 있다면 어떻게되는지에 대한 다른 질문이 있습니다. Google 웹 마스터 사이트에서이 답변을 찾을 때까지 무슨 일이 있었는지 알았습니다. https://support.google.com/webmasters/answer/93710

다음 내용을 참조하십시오.

중요! noindex 메타 태그를 적용하려면 페이지가 robots.txt 파일로 차단되어서는 안됩니다. robots.txt 파일로 페이지가 차단 된 경우 크롤러는 noindex 태그를 볼 수 없으며 페이지에 링크가있는 경우와 같이 페이지가 여전히 검색 결과에 나타날 수 있습니다.

다른 사이트가 내 페이지에 링크하면 해당 페이지가 robots.txt에 의해 차단 된 경우에도 내 페이지가 색인 생성됩니다.

내 페이지 색인 생성을 중지하는 유일한 방법은 robots.txt에 허용하고 메타 로봇 ​​태그를 사용하여 색인 생성을 중지하는 것입니다. 이것은 완전히의 robots.txt의 목적을 물리 칠 것

의 robots.txt에

Answer 1

Disallow 가능성,하지 페이지에 색인 (= 링크를 방지하기위한 (= 봇 방문 페이지를)를 크롤링 을 방지하기위한 것입니다 메타 데이터와 함께 데이터베이스에 추가됨).

robots.txt에서 페이지의 크롤링을 차단하면 봇이 페이지를 방문해서는 안된다는 것을 알 수 있습니다 (예 : 볼 가치가 없거나 리소스가 낭비 될 것이므로 아무 것도 볼 수 없으므로). 그 페이지는 비밀로 간주되어야합니다.

robots.txt의 원래 사양은 색인 생성을 방지하는 방법을 정의하지 않습니다. Google seems to은 robots.txt의 Noindex 필드를 지원하지만 문서화되지 않은 '실험 기능'과 동일합니다.