검색 봇이 삭제 된 페이지를 크롤링하지 않도록 하시겠습니까?

Question

현재 우리는 외부 웹 사이트에 Kentico CMS를 사용하고 있으며 pages/page1.aspx라는 페이지를 사용했습니다. 우리는 그 페이지를 제거했으나 매일 google, bing 및 yahoo sarch 로봇이 해당 페이지를 읽으려고합니다. CMS를 존재하지 않는 페이지 (로그)에 다음과 같은 오류가 발생하기 때문에

Event URL: /pages/page1.aspx 
URL referrer: 
User agent:  Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 

Message: The file '/pages/page1.aspx' does not exist. 
Stack Trace: 
at System.Web.UI.Util.CheckVirtualFileExists(VirtualPath virtualPath) 
// and the rest of the stacktrace 

우리는 전체 사이트의 충돌 (닷넷 임시 파일을 삭제하고 응용 프로그램 풀을 다시 시작해야합니다) 이러한 오류가 너무 많이 얻을 . 기본적으로 나는 존재하지 않는 페이지로 이동하여 여러 번 새로 고침하고 사이트를 다운시킬 수 있습니다. 매우 나쁘다. 그러나 우선, 봇에게이 페이지에 액세스하지 못하게하려면 어떻게해야합니까?

미리 감사드립니다.

Answer 1

페이지가 단일 페이지이거나이 문제를 일으키는 페이지가 몇 개인 경우 robots.tx을 수정하여 합법적 인 검색 엔진에 확인하지 말 것.

페이지를 찾을 수 없을 때 어떤 HTTP 응답을 보내고 있는지 확인하고 싶습니다. 거미가 계속 점검해야한다고 생각하게하는 원인을 보냈을 수도 있습니다. 404 대신 홈페이지로 영구적으로 리디렉션해야합니까?

마지막으로, WTF? 나는이 버그에 대해 Ketnico 사람들과 이야기 할 것입니다.

Answer 2

robots.txt 파일을 사용해 보셨습니까?

Answer 3

구성 오류가 있다고 생각합니다. robots.txt 파일이이 문제를 해결하는 동안 봇은 해당 파일을 무시하도록 선택할 수 있습니다.

더 나은 해결책은 오류 페이지를 올바르게 설정하는 것입니다. 존재하지 않는 페이지로 이동하면 어떻게됩니까? 시스템이 노란색 화면을 표시하는 것처럼 들리는데, 이는 사용자에게 모든 방법으로 버블 링되는 처리되지 않은 예외입니다. 오류 페이지 설정을 확인하여 사용자 (및 로봇)가 404 오류 페이지로 리디렉션되도록하십시오. 야후와 다른 사람들이 404 페이지를 볼 때 색인 생성을 중단 할 것이라고 추측하고 있습니다.