robots.txt - 삭제 된 페이지에서 작동합니까?

Question

내 robots.txt 파일을 사용하여 특정 페이지가 크롤링되지 않도록 제외하고 내 웹 사이트에서 찾았습니다.

나는 검색 엔진을 통해 여전히 발견 할 수있는 몇 가지 오래된 페이지 (현재 서버에서 삭제됨)가 있음을 알게되었습니다.

Q) 서버에 페이지를 다시 만들어야 robots.txt를 사용할 수 있습니까?

Answer 1

아니요, robots.txt에서 언급 할 수 있도록 페이지를 다시 만들 필요가 없습니다. 즉, 다음을 가질 수 있습니다 :

User-Agent: * 
Disallow: /foo/bar.html 

/foo/bar.html이 실제로 존재하는지는 중요하지 않습니다. 예의 바른 로봇은 해당 페이지에 액세스하려고 시도하지 않습니다.

검색 엔진의 링크가 있으면 브라우저가 페이지에 액세스하는 것을 막지는 않습니다.

검색 엔진의 색인에서 이전 페이지를 제거하는 것이 더 어려운 문제입니다. 사용자가 사이트를 다시 크롤링하면 스냅 샷을 새 레이아웃으로 바꾸고 페이지가 더 이상 나타나지 않습니다. 그러나 다른 사이트에서 이전 페이지에 대한 링크를 찾으면 삭제 된 페이지를 색인에 계속 나열 할 수 있습니다. 검색 엔진에 따라 다릅니다.

큰 검색 엔진의 경우 제거 요청을 제출할 수 있습니다. 그 작업은 개별 사이트에 따라 다릅니다.