Google에서 색인을 생성 할 수있는 페이지 만 허용

크기가 큰 사이트 (40,000+ 페이지)를 보유하고 있으며 Google에서 색인 생성하는 페이지의 수준을 최소화하고자합니다. 즉 500 페이지 만 색인을 생성하고 싶습니다.Google에서 색인을 생성 할 수있는 페이지 만 허용

나는 Noindex'ing 페이지의 옵션을 찾을 수 있으며 Noindex 39,500 페이지는 의미가 없습니다.

내 Robots.txt 파일의 예입니다. robots.txt에가에

User-agent: * 
Noindex: /category/long-site-url-1/ 
Noindex:/
Noindex: /site-url-2/ 
Noindex: /site-url-3/ 

Sitemap: https://sitedomain/sitemap.xml

Noindex은/only an experimental feature이었다 (지정된/문서화되지 않습니다).

<meta name="robots" content="noindex" />

X-Robots-Tag: noindex

: 영향을받는 각 페이지의 HTML에 robots 요소 또는 HTTP에 X-Robots-Tag 헤더를 보낼 -

당신은 meta를 추가해야

2017-09-22 06:12:02 unor

답변