새로운 404 색인이 생성되지 않은 페이지는 순위에 어떤 영향을 줍니까?

Google의 모든 페이지 링크가 크롤링되어 계속 크롤링되는 상황이있었습니다. 페이지 링크에는 "~/{someTerm}/{someOtherTerm}/__ p/##/##"이 (가) 있습니다.새로운 404 색인이 생성되지 않은 페이지는 순위에 어떤 영향을 줍니까?

이제 문제는 Google과 MSN 로봇 모두 크롤링 할 필요가없고 시스템에 부담을 줄 수있는 수만 페이지를 크롤링하는 것입니다.

그래서 우리는 페이징 링크를 Javascript 링크로 변경하고 "__p"가 포함 된 모든 URL을 제거하여 이제 404 - 페이지를 찾을 수 없습니다. 우리는 실제로 페이지 1의 색인을 생성하고 이후에는 한 페이지 또는 두 페이지를 원합니다. (지금은 걱정하지 마십시오.)

Google 및 MSNBot 용 WebMasterTools를 사용하여 URL에 "__p"가 포함 된 모든 페이지를 제거 할 수있는 방법이 있습니까? 그렇다면, 어떻게?

감사합니다.

출처

2012-08-15 ElHaix

이 출입 금지 무엇인지 정의하는 로봇 텍스트 파일을 사용 :이 경우 http://www.robotstxt.org/ – TheZ

을 "금지 :/* __ P 것"이라고 robots.txt에의 트릭을 할? – ElHaix

'/ * __ p $'를 사용하여 경로 끝 부분에 명시되도록 하겠지만, 그래야합니다. 참고 : 와일드 카드는 Microsoft와 Google에서는 작동하지만 잠재적으로 표준 robots.txt를 존중하는 모든 크롤러는 아닙니다. – TheZ

난 당신이 검색 엔진에서 제거하려면 해당 페이지에서 <meta> 태그를 사용한다고 생각합니다. 또한

<meta name="robots" content="noindex, nofollow" />

, 당신은 사용하여 시도 할 수 있습니다 robots.txt 제외,이 부분을 확인하십시오. 01

User-agent: * 
Disallow: /*___p

출처

2012-08-15 20:22:19

동의 함, 메타 태그를이 페이지에 추가 할 수 있다면 모든 크롤러가이를 이해할 수 있으므로 훨씬 더 이상적입니다. – TheZ

새로운 404 색인이 생성되지 않은 페이지는 순위에 어떤 영향을 줍니까?

답변

관련 문제