robots.txt에서 사이트 맵을 허용해야합니까? robot.txt 자체?

이것은 아주 기본적인 질문이지만 어디서나 온라인으로 직접 답변을 찾을 수는 없습니다. Google에서 내 웹 사이트를 검색 할 때 sitemap.xml 및 robots.txt가 검색 결과로 반환됩니다 (더 유용한 결과 중). 이를 방지하기 위해 나는 다음과 같은 라인robots.txt에서 사이트 맵을 허용해야합니까? robot.txt 자체?

Disallow: /sitemap.xml 
Disallow: /robots.txt

이 사이트 맵이나 로봇이 파일을 액세스하는 검색 엔진을 멈추지 않을 것입니다?의 robots.txt에 추가해야합니까?

/google의 URL 삭제 도구를 사용해야하나요?

출처

2011-07-01 RLJ

크롤러가 닭고기 및 계란 상황 때문에 robots.txt의 색인 생성을 중단하지 않습니다. 그러나 사이트 맵을 직접 볼 수 있도록 Google 및 기타 검색 엔진을 지정하지 않으면 색인 생성이 손실 될 수 있습니다. 무게로 인해 sitemap.xml이 거부되었습니다. 사용자가 사이트 맵을 볼 수 없게하는 특별한 이유가 있습니까?

Allow:/
# Sitemap 
Sitemap: http://www.mysite.com/sitemap.xml

출처

2011-07-01 18:53:01 Daxmax

내가 사이트 맵 파일을 볼 수 없도록하고 싶지 않아,하지만 난 그냥 검색 결과에오고 싶지 않은 : 는 사실은 단지 구글 크롤러 특정되는이 작업을 수행. 이 일을하는 방법이 있습니까? robots.txt뿐만 아니라? 기본적으로 웹 사이트 콘텐츠가 포함 된 검색 결과에 나타나는 "유용한"URL을 원합니다. – RLJ

Sitemaps 및 robots.txt 파일이 귀하의 콘텐츠보다 더 많은 조회수를 얻고 있다면 그 이유에 대해 궁금해 할 필요가 있습니다. 콘텐츠는 항상 사용자가 XML 파일 이상을 가져야합니다. 당신이 진짜로 다시 걱정하는 경우에 약간 백 엔드 서버 kungfu를 할 수 있고 서버 머리 응답에 X-Robots 꼬리표이라고 칭한 무슨을두기 위하여 백엔드 언어 또는 웹 서버를 사용할 수있다. http://yoast.com/x-robots-tag-play/ – Daxmax

HTML 페이지와 같은 공개 리소스에서 링크되지 않은 경우 Sitemap의 색인을 생성하지 않습니다 (즉, 결과에서 Sitemap을 반환합니다). robot.txt 파일에만 나열하면 색인을 생성하지 않습니다. Sitemap의 크롤링을 허용하지 않으면 크롤링 할 수 없으므로 사용할 수 없습니다. – methode

robots.txt에서 사이트 맵을 허용해야합니까? robot.txt 자체?

답변

관련 문제