검색 엔진의 중복 콘텐츠를 해결하는 방법은 무엇입니까?

Question

나는 2 개의 웹 사이트가있다 : Site1.com과 Site2.com.

Site1.com에는 2 페이지 : a.htm과 b.htm이 있습니다. Site2.com에는 3 페이지 : a.htm, b.htm 및 c.htm이 있습니다.

페이지 a.htm과 b.htm은 2 개 사이트에서 중복됩니다.

검색 엔진이 Site1의 a.htm과 b.htm 및 Site2의 c.htm을 색인화하도록합니다. 이 기본 설정을 어디에서 어떻게 지정합니까? 가능한 경우 페이지 수준에서 내 환경 설정 (모든 페이지를 편집해야 함)을 지정하지 않는 것을 선호합니다.

감사합니다.

Answer 1

색인을 생성해야하는 페이지를 지정하여 각 서버의 루트에 robots.txt 파일을 작성하십시오. 사이트 2 예를 들어

:

User-agent: * 
Disallow: /a.htm 
Disallow: /b.htm 

Answer 2

검색 엔진이 그런 종류의 "이 양식 채우기"유형의 컨트롤을 제공하지는 않습니다.

당신의 두 가지 옵션 :

1) NOT 인덱스 사이트 개발에 대한 페이지가
2) (301)를 사용하는 크롤러에게 robots.txt를 사용 "영구적으로 이동"대신 사이트 1의 사이트 2 볼 갈 크롤러에게 리디렉션 .