Wordpress Robots.txt가 문제를 처리합니까?

Question

나는 여기

내 robots.txt에 보이는 무엇 SEO, Robots.txt를하고 워드 프레스에 관한 질문 질문이 같은 :

:이 같은 URL이 제한되는 것을 볼

구글 웹 마스터에서

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /feed 
Disallow: /*/feed 
Disallow: /wp-login.php 
Disallow: /tag 
Disallow: /trackback 
Disallow: /*?* 
Disallow: /archive/ 
Disallow: /rss/ 
Disallow: /about/trackback/ 
Disallow: /wp-register.php 

도구 때문에 가정 허용되지 않음/피드입니다

http://www.domain.com/date/article-title/feed/

는 이제 실제 기사 제목은 '//피드' 아웃과 같은 URL입니다

제 질문은 검색 엔진이 올바른 URL을 여전히 색인 생성합니까? 아니면 robots.txt에서 제거해야합니까? 그리고 당신은 robots.txt에 대해 어떻게 생각합니까? 내가 무엇을 추가 할 것인가에 대한 발견 된 팁을 찾아서 그걸 가지고 나왔습니다. 그러나 hte bigpress 사이트를 볼 때 그들은 내 로봇에있는 항목의 절반을 가지고 있지 않습니다. txt 파일.

Answer 1

피드 자체는 색인 생성되지 않지만 robots.txt 파일에서 URL이 구체적으로 차단되지 않으면 색인 내에 포함될 수 있습니다.

모든 블로그 기사의 색인이 생성되면 다른 자료는 문제없이 차단 될 수 있습니다. 차단 된 페이지 중 일부는 사용자 및 검색 엔진 (로그인 페이지, 트랙백 페이지) 또는 중복 콘텐츠 문제 (예 : 보관함, 태그 페이지)에 쓸모없는 것으로 보입니다. 쓸모없는 페이지는 철저하게 차단되어야합니다. 아카이브 및 태그 페이지를 크롤링 할 수는 있지만 색인 생성은하지 않습니다. 그런 식으로 검색 엔진은 모든 콘텐츠를 찾는 데 도움이 될 페이지의 링크를 따라갈 수 있습니다. 이 작업은 robots.txt에서 수행하지 않고 meta tag or HTTP header을 사용합니다.