.htaccess 비밀번호로 보호 된 사이트가 검색 엔진에 숨겨져 있습니까?

.htaccess 비밀번호로 차단 된 도메인에 웹 사이트 인스턴스가 있습니다. 회사 네트워크와 같은 일부 IP는 허용됩니다. 사이트가 더.htaccess 비밀번호로 보호 된 사이트가 검색 엔진에 숨겨져 있습니까?

로봇 메타 태그 따라 설정 robots.txt에 인덱스

이 없습니다

을 (분명이 100 % 보장 할 수는 있지만)

는 인바운드 링크가 없습니다

이러한 모든 조건이 충족되면 검색 엔진이 사이트의 색인을 생성 할 수있는 방법이 있습니까? 나는 생각하지 않지만 내가 알지 못했던 허점이 없는지 확인하고 싶다.

2016-06-24 BadHorsie

암호로 보호 된 페이지는 검색 엔진 에 액세스 할 수 없습니다.

검색 엔진 로봇은 일반적으로 크롤링 페이지 인 에 로그인 할 수 없으므로 로그인 정보가 검색 색인에 포함되지 않습니다.

_{소스 : http://www.yourseoplan.com/is-password-protected-content-indexable-by-search-engines/}

는 또한 Google employee에서이 포스트를 참조하십시오

아니, 우리의 크롤러가 로그인 보호 페이지에 액세스 할 수 없습니다.

_{출처 : 게리 Illyes, 구글, https://productforums.google.com/forum/#!topic/news/2SdcGEWht1o}

출처

2016-06-24 15:08:41

내가 어떤 크롤러가 포인트 htaccess로에서 콘텐츠를 도달하기 전에 중단 될 확신 그게 얼마나로보고, 암호를 요구 .htaccess 암호가있는 전체 요점.

교육적 목적을 위해 무언가를 확실하게 알고 싶다면 개인용 탭에서 다양한 브라우저를 테스트하고 소켓에서 원시 요청을 보내서 어떤 결과가 나오는지 확인할 수 있습니다.

GET /docs/index.html HTTP/1.1 
Host: www.nowhere123.com 
Accept: image/gif, image/jpeg, */* 
Accept-Language: en-us 
Accept-Encoding: gzip, deflate 
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) 
(blank line)

당신에게 : 여기 https://www3.ntu.edu.sg/home/ehchua/programming/webprogramming/HTTP_Basics.html

그들은 당신이 http://nowhere123.com/docs/index.html에서 페이지를 가져 오는에 대한 가고 싶어 방법을 설명합니다 해당 페이지에서 발췌 한 것 : 다음은 원시 HTTP 요청을 보내 줄 방법을 설명 페이지입니다 텔넷을 사용하여 원시 요청을 보낼 수 있습니다.이 요청은 대부분의 리눅스 배포판에서 사용할 수 있으며 아마도 Windows에서도 사용할 수 있습니다.

내가 나서서 알려진 htaccess로 암호 게이트웨이 내 자신의 서버 중 하나 (수정 경로 및 호스트)이 요청을 발행 한 사실이 있습니다 응답을 얻었다 :

HTTP/1.0 401 Unauthorized 
Date: Fri, 24 Jun 2016 15:08:26 GMT 
WWW-Authenticate: Basic realm="Restricted Area" 
Content-Type: text/plain 
Content-Length: 19 

Invalid CredentialsConnection closed by foreign host.

그래서를 ... 어쩌면이 너를 도울 것이다.

출처

2016-06-24 15:09:44

.htaccess 비밀번호로 보호 된 사이트가 검색 엔진에 숨겨져 있습니까?

답변

관련 문제