업데이트 된 sitemap.xml을 사용하면 어떤 이점이 있습니까?

Question

아래 텍스트는 sitemaps.org에서 가져온 것입니다. 크롤러가 업무를 수행하는 것과 비교하면 어떤 이점이 있습니까?

사이트 맵 웹 마스터가 크롤링 사용할 수있는 사이트의 페이지에 대한 검색 엔진을 을 알리기위한 쉬운 방법입니다. 그 간단한 형태로, 사이트 맵, 그것은 일반적으로 변경하는 방법을 자주, 그리고 은 그것이 중요한 방법, 상대가 마지막으로 업데이트 된 각 URL에 대한 추가 메타 데이터 (와 함께 사이트의 URL을 나열하는 XML 파일입니다 다른 에있는 URL)을 검색하면 엔진이 더 지능적으로 사이트를 크롤링 할 수 있습니다.

편집 1 : 해당 기능의 개발을 조정할 수 있도록 충분한 이익을 얻기를 바랍니다. 현재 시스템은 사이트 맵을 동적으로 제공하지 않으므로 크롤러로 사이트 맵을 생성해야합니다. 크롤러는 매우 좋은 프로세스가 아닙니다.

Answer 1

크롤러도 "게으르다". 따라서 사이트의 모든 URL이 포함 된 사이트 맵을 제공하면 사이트의 더 많은 페이지를 색인 할 가능성이 높아집니다.

크롤러는 변경 빈도, 업데이트 유지 등이 더 중요하므로 변경되지 않은 페이지를 크롤링하는 데 시간을 낭비하지 않도록 페이지의 우선 순위를 지정할 수 있습니다. 누락 된 페이지 또는 페이지에 대해 신경 쓰지 않는 페이지에 대해 색인을 생성 할 수 있습니다.

전체 사이트를 크롤링하고 사이트 맵을 생성하는 데 사용할 수있는 automatedtools 온라인도 많이 있습니다. 귀하의 사이트가 너무 크지 않다면 (수천 개의 URL보다 적음) 큰 효과가 있습니다.

Answer 2

글쎄, 단락처럼 sitemaps는 크롤러가 순전히 크롤링으로 추정 할 수없는 주어진 URL에 대한 메타 데이터를 제공합니다. 사이트 맵은 크롤러의 목차 역할을하므로 콘텐츠의 우선 순위를 정하고 중요한 항목을 색인 할 수 있습니다.

Answer 3

사이트 맵은 어떤 페이지가 더 중요한지 크롤러에게 알려주고 업데이트 예상 빈도를 알려줍니다. 이것은 실제로 페이지 자체를 스캔하여 찾을 수없는 정보입니다.

크롤러는 사이트 스캔 횟수에 제한이 있으며 링크를 추적하는 레벨의 수는 제한되어 있습니다. 관련성이 낮은 페이지가 많거나 같은 페이지에 많은 다른 URL이 있거나 많은 단계를 거쳐야하는 페이지가있는 경우 가장 많은 interresting 페이지가 오기 전에 크롤러가 멈 춥니 다. 사이트 맵은 링크를 따라하고 중복을 분류하지 않고도 가장 많은 interresting 페이지를 쉽게 찾을 수있는 대체 방법을 제공합니다.