오늘 'error.log'라는 웹 호스트의 폴더를 발견했습니다. 내가 한번 봐봐 줄 알았는데.missing.log에 파일이 누락되었습니다.
나는 오류를 '파일이 존재하지 않는'복수의 참조 - 항목의 세 가지 유형이 있습니다 :
나는이 파일을 사용하는 것에 대해 몇 가지 추측이 있지만 확실히 알고 싶습니다 :
robots.txt 파일은 웹 크롤러/로봇에 의해 읽혀 서버의 리소스를 스크래핑하지 못하게합니다. 그러나 로봇이이 파일을 읽는 것은 필수 사항은 아니지만 좋은 파일은 필수입니다. https://stackoverflow.com/a/12683605/722238
내가 사용을 믿고 설명
User-agent: * # All robots
Disallow:/ # Do not enter website
또는
User-Agent: googlebot # For this robot
Disallow: /something # do not enter
apple-touch-icon-precomposed.png은 다음과 같습니다 http://en.wikipedia.org/wiki/Robots.txt에서 몇 가지 더 예는 예제 파일처럼 보일 수 있으며, 웹 루트 디렉토리에 상주 할 수 있습니다 missing.html은 일부 사용자 정의 404 페이지로 사용됩니다. 로봇이이 파일을 긁어서 구성 할 수 있으므로 로봇에 대한 요청 일 수 있습니다.
로봇이 서버에서 긁어 모으는 리소스를 제어하려면 robots.txt 파일을 추가해야합니다. 전에 말했듯이 로봇이이 파일을 읽는 것은 필수 사항이 아닙니다.
그러나 오류 메시지를 제거하기 위해 다른 두 파일을 추가하려면 필자는 이것이 필요하지 않다고 생각합니다. joe_random이 서버에서 /somerandomfile.txt에 대한 요청을하지 않는다고 말할 수 없습니다.이 경우 존재하지 않는 다른 파일에 대해 다른 오류 메시지가 나타납니다. 그런 다음 사용자 정의 된 404 페이지로 리디렉션 할 수 있습니다.