robots.txt에 대한 wordpress 블로그 (허용/블로그/페이지/...하지만 모든 게시물에 링크를 크롤링 할 수 있습니까?)

Question

나는 대답을 찾을 수없는 매우 순진한 질문이 있습니다. 나는 워드 프레스 블로그를 가지고있다. 모든 게시물은 여러 페이지에 나열되어 있습니다 (예 :

mydomain.com/blog/ 
mydomain.com/blog/page/2/ 
... 
mydomain.com/blog/page/N/ 

그래서 나는 크롤러가 특정 페이지에서이었다, 그러나 각에 연결된 모든 게시물 "/ 페이지 /", 수행 할 수 크롤링을 수 있도록하려면 무엇을 "기억"하고 싶지 않아 내가

disallow: /blog/page/ ? 

또는 어떻게 게시물이 특정 페이지에 있지만 여전히 모든 게시물을 크롤링 할 수 무엇을 크롤링하지 못하게하거나 않습니다으로 허용 페이지에 크롤링 링크?

Answer 1

robots.txt로는이 작업을 수행 할 수 없습니다. 샘플 Disallow 라인은 "지금까지 /blog/page/로 시작하는 URL을 요청하지 않습니다.

는 당신이 아마하고 싶은 것은 추가는"크롤러를 말할 것 비색의 "/ 페이지/페이지의 모든 robots meta tag을. 그 이야기 Google은 "이러한 페이지의 색인을 생성하지 않습니다"라고 말하면서도 로봇이 해당 블로그를 크롤링하고 개별 블로그 항목에 대한 링크를 얻을 수있게합니다.