기본 페이지를 제외한 모든 페이지를 허용하는 robots.txt를 설정하려면 어떻게해야합니까?

Question

나는 http://example.com라는 사이트가 있고, 그 아래에 나는 다음과 같은 기사가있는 경우 : 기본적으로 http://example.com/articles/norwegian-statoil-ceo-resigns

, 난 당신이 검색 할 때 있도록 Google 검색 결과에 표시 할에서 FrontPage에서 텍스트를하지 않으을 "statoil ceo"는 기사 자체 만 가져 오지만이 텍스트가 포함 된 기사 페이지는 아니지만 기사 자체는 아닙니다.

Answer 1

그렇다면 Google은 사용자의 홈 페이지를 링크가있는 페이지 아래에서 페이지를 크롤링 할 수 없다는 메모와 함께 표시 할 수 있습니다. 이것은 robots.txt가 페이지 색인을 중지하지 않기 때문입니다. 개인적으로는 추천하지 않겠지 만 홈 페이지를 색인 할 수는 없습니다.