Google 크롤러가 robots.txt를 찾았지만 다운로드 할 수 없음

누구나이 robots.txt의 문제점을 알려 줄 수 있습니까? 사실 위의 링크 액션의 로봇 이동 경로의 매핑Google 크롤러가 robots.txt를 찾았지만 다운로드 할 수 없음

Sitemap errors and warnings 
Line Status Details 
Errors - 
Network unreachable: robots.txt unreachable 
We were unable to crawl your Sitemap because we found a robots.txt file at the root of 
your site but were unable to download it. Please ensure that it is accessible or remove 
it completely.

http://bizup.cloudapp.net/robots.txt

Google 웹 마스터 도구에 내가 오류입니다. 이 작업은 저장소에서 파일을 가져 와서 내용을 text/plain으로 반환합니다. Google은 파일을 다운로드 할 수 없다고 말합니다. 그것 때문에입니까?

출처

2010-08-19 Fabio Milheiro

를 참조하기로되어 있지만,이 때 당신의 robots.txt는, http://bizup.cloudapp.net/robots.txt은 또한 당신의 XML 사이트 맵의 URL이라고 주장한다 정말 http://bizup.cloudapp.net/sitemap.xml. 이 오류는 Google에서 robots.txt를 XML 사이트 맵으로 구문 분석하려고 시도한 것으로 보입니다. 당신은

User-agent: * 
Allow:/
Sitemap: http://bizup.cloudapp.net/sitemap.xml

편집 실제로보다 조금 더 깊이 간다

에 robots.txt를 변경해야하고, Googlebot이 사이트에 전혀 페이지를 다운로드 할 수 없습니다.

쿠키없는 인증이 응용 프로그램에 대해 지원되지 않습니다 양식 : 여기에 Google 검색 요청의 robots.txt 또는 홈페이지 중 하나가 때 반환되는 예외입니다.

예외 정보 : System.Web.HttpException : 쿠키없는 양식 인증 은이 응용 프로그램에서 지원되지 않습니다.

[HttpException (0x80004005): Cookieless Forms Authentication is not supported for this application.] 
AzureBright.MvcApplication.FormsAuthentication_OnAuthenticate(Object sender, FormsAuthenticationEventArgs args) in C:\Projectos\AzureBrightWebRole\Global.asax.cs:129 
System.Web.Security.FormsAuthenticationModule.OnAuthenticate(FormsAuthenticationEventArgs e) +11336832 
System.Web.Security.FormsAuthenticationModule.OnEnter(Object source, EventArgs eventArgs) +88 
System.Web.SyncEventExecutionStep.System.Web.HttpApplication.IExecutionStep.Execute() +80 
System.Web.HttpApplication.ExecuteStep(IExecutionStep step, Boolean& completedSynchronously) +266

있는 FormsAuthentication는 Googlebot이 쿠키를 지원하지 않는 것으로 인식하지만 쿠키 인증을 수락하지 않기 때문에 당신의 FormsAuthentication_OnAuthenticate 방법에 뭔가가 다음 예외를 던지고 있기 때문에 쿠키 모드를 사용하도록 노력하고있다.

나는 간단한 방법으로이 문제를 해결

<authentication mode="Forms"> 
    <forms cookieless="UseCookies" ...> 
    ...

출처

2010-08-19 16:59:58 stevemegson

이제 답이 생겼습니다! 나는 모든 것을 이해하고 그것을 지금 확인합니다 ... +1 –

어떻게 예외를 볼 수 있었습니까? 나는 Googlebot 시뮬레이터라는 것을 시도해 왔지만 그 예외는 일어나지 않았다. –

일부 Googlebot 시뮬레이터는 Googlebot의 이전 버전 헤더를 사용하며 어떤 이유로 최신 버전에서만이 문제가 발생합니다. Google의 웹 마스터 도구에는 실제 Googlebot과 항상 일치한다고 가정 할 수있는 Labs의 'fetch as Googlebot'기능이 있습니다. 올바른 헤더를 알게되면 Fiddler는 HTTP 요청을 수작업으로 처리하고 응답을 검사 할 수 있으므로 Shaji의 응답에서 요청 헤더를 복사하여 되돌아온 것을 확인합니다. (http://www.fiddler2.com/) – stevemegson

robots.txt 파일을 생성하는 스크립트에 문제가 있습니다. GoogleBot이 파일에 액세스 할 때 500 Internal Server Error이됩니다.

REQUESTING: http://bizup.cloudapp.net/robots.txt 
GET /robots.txt HTTP/1.1 
Connection: Keep-Alive 
Keep-Alive: 300 
Accept:*/* 
Host: bizup.cloudapp.net 
Accept-Language: en-us 
Accept-Encoding: gzip, deflate 
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 

SERVER RESPONSE: 500 INTERNAL SERVER ERROR 
Cache-Control: private 
Content-Type: text/html; charset=utf-8 
Server: Microsoft-IIS/7.0 
X-AspNet-Version: 4.0.30319 
X-Powered-By: ASP.NET 
Date: Thu, 19 Aug 2010 16:52:09 GMT 
Content-Length: 4228 
Final Destination Page

현재 헤더 http://www.seoconsultants.com/tools/headers/#Report

출처

2010-08-19 16:57:36 Shaji

예, 뭔가 잘못되었습니다. Stevemagson이 도와주었습니다. 감사! –

난 당신의 robots.txt 그러나

User-agent: * 
Allow:/
Sitemap: http://bizup.cloudapp.net/robots.txt

얻을 아무 문제가 테스트 할 수 없습니다가 수행 다음은 헤더 검사의 결과는 재귀 robots.txt 호출?

의 Sitemap은 XML 파일 수는 robots.txt에 OK를 읽는 것처럼 보이는 Wikipedia

출처

2010-08-19 16:57:54

예, 이미 알았지 만, 제 부분에서는 가짜 오류였습니다. 감사! 1 + –

... 그 주위에 가장 쉬운 방법은 이제까지 쿠키 모드를 사용하려고 시도에서하고 FormsAuthentication을 중지하는의 Web.config에 다음과 같은 변화라고 생각합니다 : 모든 액세스를 허용하기 위해 robot.txt 파일 (index.html 파일과 동일한 디렉토리에 있음)을 추가하기 만하면됩니다.그런 식으로 모든 액세스를 허용하려고했지만 Google Webmaster Tools가 내 ISP에서 제어하는 다른 robot.txt를 찾았습니까?

일부 ISP의 경우 적어도 봇을 제외하고 싶지는 않지만이 결함을 막기 위해 robot.txt 파일이 있어야합니다.

출처

2012-10-04 13:30:21

Google 크롤러가 robots.txt를 찾았지만 다운로드 할 수 없음

답변

관련 문제