robots.txt

0열

1답변

Googlebot이 robots.txt에 의해 차단 된 페이지에있는 링크의 색인을 생성합니까?

내 robots.txt에 : User-agent: googlebot disallow: /xxx/y.html y.html는 "/mmm/a.html"와 "/asd/b.html"와 같은 링크가 많이있다. 내 질문에 Google 색인 "/mmm/a.html"및 "/asd/b.html"이 표시됩니까? 이러한 링크는 "/xxx/y.html"에만 있습니다. ro

0열

2답변

Google 로봇이이 robots.txt를 크롤링 할 수없는 이유는 무엇입니까?

Googlebot이 만든 WordPress 웹 사이트를 크롤링하고 색인을 생성 할 수없는 이유를 모르겠습니다. 이것은 내가 내 robots.txt를 위해 무엇을 가지고 : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-login.php Disallow: /wp-con

0열

1답변

robots.txt에 매개 변수가없는 URL을 무시하십시오.

나는 이와 같은 예쁜 URL을 가지고 있습니다. http://example.com/category/shoes 나는 때문에 페이지를 홈페이지로 리디렉션됩니다 매개 변수없이 URL에 더 shoes parameter이없는 경우 url을 disallow 싶다. 위의 시도가 올바른지 아닌지 그래서 나는 확실하지 않다 robots.txt 파일 Disallow: /

1열

1답변

robots.txt에서 Google 로봇을 허용하지 않고 대신 사이트 맵을 나열하십시오.

유료 Geolocation 스크립트를 사용하여 사용자를 국가 별 특정 사이트로 안내합니다. 그러나 로봇은 내 대형 사이트의 모든 페이지를 크롤링하기 때문에 많은 비용이 청구됩니다. robots.txt 내에서 Google을 허용하지 않고 robots.txt 내에 사이트 맵을 제공한다면 Google은 여전히 크롤링하지 않고 내 페이지의 색인을 생성합니까?

0열

1답변

robots.txt에 복종하지 않는 로봇을 허용하지 않으려면 어떻게해야하나요?

나는 최근에 robots.txt을 변경하여 봇이 값 비싼 검색 API 쿼리를 만들지 못하게했습니다. 검색 API 쿼리로 비용이 많이 드는 /q?...을 제외한 다른 모든 페이지는 현재 허용됩니다. User-agent: * Disallow: /q? Sitemap: /sitemap.xml.gz 이제 로그에 봇이 표시됩니다. Google 또는 'goog

0열

1답변

의 robots.txt 언어

와 경로를 제외하십시오/EN/버전뿐만 아니라,도/다 /,/드/등 http://www.examplepage.com/en/testing 그러나 (당신은 나의 요점을 얻는다). 어떻게하면 가장 똑똑한 방법일까요? 모든 언어로 같은 페이지를 쓰지 않고도 허용하지 않습니다./*하는 을 테스트하지만 난 그것은 또한 같은 다른 페이지 허용하지 않습니다 것을 발견 : 허

-1열

2답변

Google 로봇이 로컬 웹 사이트를 보는 방법 확인

Google 로봇이 내 로컬 웹 사이트를 보는 방법을 확인하는 방법? 공식 Google 툴이 있습니까? 나는 온라인 웹 사이트를 확인하는 것을들은 적이있다. 그러나 네트워크에서 로컬 사이트가 아닌 것은 어떨까?

0열

2답변

거미는 사이트 맵의 URL 만 크롤링합니까?

거미가 크롤링 할 수 있도록 내 웹 사이트에 제한 구역이 있습니다. 거미가 색인을 생성하기를 원하는 URL 만 포함하는 sitemap.xml 파일을 참조하기에 충분합니까? 아니면 액세스를 제한하고 싶은 페이지에 다음 메타 태그를 추가해야합니까? <meta name="robots" content="NONE,NOARCHIVE" />

6열

2답변

Google에서 색인을 생성하는 Azure 도메인

나는 도메인 'example.azurewebsites.net'이있는 웹 사이트가 있습니다. 또한 맞춤 도메인을 'www.example.com'으로 구성했습니다. Google은 내 'example.azurewebsites.net'웹 사이트의 색인을 생성하며 색인을 중지하고 'www.example.com'만 색인에 추가하려고합니다. 어떻게해야합니까?

2열

2답변

색인 특정 URL을 사용하지 않으려면 어떻게해야합니까?

색인 특정 URL을 검색하는 방법을 찾고 있었지만 다음에 대한 특정 정보는 찾지 못했습니다. 아래 <?php if(is_single(X)): ?> <meta name="robots" content="noindex,nofollow"> <?php endif; ?> 을 추가함으로써 I는 더 인덱스 (X) 여기서 X가 될 수 게시물 ID, 예를 들어 "안녕