웹 사이트 Google 웹 마스터

Question

과 중복 된 콘텐츠가 발견되었습니다. 하위 디렉토리에있는 wordpress 블로그와 함께 codeigniter를 기반으로하는 웹 사이트가 있습니다./blog.

Google 웹 마스터 도구 및 검색 결과를 통해 - 우리는 도메인 이름 뒤에 다음과 같은 내용으로 우리의 홈 페이지를 중심으로 중복되는 내용을 볼 수 있습니다.

그래서 예를 들어 사이트 구글에서 검색 : 구글에 domainname.com 보여줍니다 :

domainname.com/?author=1 
domainname.com/?author=2 
domainname.com/?cat=1 
domainname.com/?cat=3 
domainname.com/?cat=4 
/?feed=rss2&tag=drinking-establishments 
/?feed=rss2&tag=fun 
/?feed=rss2&tag=introduction 

다음은 워드 프레스 블로그에서 생성 된 모든 생성 된 것으로 나타났습니다 우리가 해결하는 방법을 잘하지?

Answer 1

robots.txt 파일을 사용하여 사이트에서 검색해야 할 대상을 Google에 알려줄 수 있습니다.

robots.txt 파일은 여기 살아야한다 : example.com/robots.txt

워드 프레스 코덱스에서 가져온로의 예 robots.txt에 : 이 http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

Sitemap: http://www.example.com/sitemap.xml 

# Google Image 
User-agent: Googlebot-Image 
Disallow: 
Allow: /* 

# Google AdSense 
User-agent: Mediapartners-Google 
Disallow: 

# digg mirror 
User-agent: duggmirror 
Disallow:/

# global 
User-agent: * 
Disallow: /cgi-bin/ 
Disallow: /wp-admin/ 
Disallow: /wp-includes/ 
Disallow: /wp-content/plugins/ 
Disallow: /wp-content/cache/ 
Disallow: /wp-content/themes/ 
Disallow: /trackback/ 
Disallow: /feed/ 
Disallow: /comments/ 
Disallow: /category/*/* 
Disallow: */trackback/ 
Disallow: */feed/ 
Disallow: */comments/ 
Disallow: /*? 
Allow: /wp-content/uploads/ 

배경 읽기 : http://en.wikipedia.org/wiki/Robots_exclusion_standard