우리는 색인 생성해서는 안되는 whitelabel 사이트를 만들고 있습니다.googlebot이 지정된 URL에 대한 색인을 생성하는지 확인하는 방법은 무엇입니까?
googlebot이 특정 URL의 색인을 생성하는지 확인하는 도구를 아는 사람이 있습니까?
모든 페이지에 <meta name="robots" content="noindex" />을 넣었으므로 색인을 생성해서는 안됩니다. 그러나 테스트를 통해 110 % 확신 할 수 있습니다.
robots.txt를 사용할 수 있지만 robots.txt의 문제는 다음과 같습니다. 메인 사이트의 색인을 생성해야하며 IIS (ASP.Net)의 동일한 응용 프로그램이 whitelabel 사이트입니다. 유일한 차이점은 URL입니다.
들어오는 URL에 따라 robots.txt를 수정할 수 없지만 내 코드 숨김의 모든 페이지에 메타 태그를 추가 할 수 있습니다.
Google 웹 마스터 도구 (google.com/webmasters/tools)는 사이트 테스트 크롤링을 수행하여 크롤링 한 내용, 특정 검색어에 대한 평가 방법, 크롤링 할 대상 및 그렇지 않은 내용을 알려줍니다 .
민감한 데이터를 Google의 숨은 눈에서 숨기려고하는 경우 테스트 크롤링이 자동으로 Google 검색 결과에 포함되지 않습니다. 그럴 가능성은 없습니다. 무슨 일이 있어도.
귀하의 사이트에 Robots.txt을 추가해야합니다.
그러나 검색 엔진이 사이트를 색인에 추가하지 못하게하는 유일한 방법은 인증을 요구하는 것입니다. 일부 스파이더는 Robots.txt를 무시합니다.
EDIT : 호스트 헤더에 따라 다른 파일을 제공하도록 Robots.txt 용 처리기를 추가해야합니다.
ASP.Net을 통해 Robots.txt 요청을 보내도록 IIS를 구성해야합니다. 정확한 지침은 IIS 버전에 따라 다릅니다.
robots.txt의 문제점은 다음과 같습니다. 메인 사이트의 색인을 생성해야하며 IIS (ASP.Net)의 동일한 응용 프로그램 인 whitelabel 사이트와 다릅니다. 유일한 차이점은 URL입니다. 들어오는 URL에 따라 robots.txt를 수정할 수 없지만 내 코드 숨김의 모든 페이지에 메타 태그를 추가 할 수 있습니다. – Steffen
ASP.Net을 사용하여 동적 Robots.txt를 만들 수 있습니다. – SLaks
또한 현재 HTTP_HOST에 따라 다른 robots.txt를 제공하기 위해 mod_rewrite (또는 IIS에서 유사한 기능)를 사용할 수도 있습니다. 그러나 전에 말했듯이 일부 거미가 무시하기 때문에 robots.txt는 안전하지 않습니다. – Alex
고마워, 그게 정확히 내가 필요했던거야 :-) 나는 위에서 언급 한 것처럼 나는 센스 데이터를 숨기려고하지 않고, 나는 단지 중복 된 내용을 피하고자한다. – Steffen
그래, 흰색 라벨 사이트. 재미있는 개념. – ZJR
참으로 - 우리 첫 번째도 있습니다 :-) – Steffen