robots.txt 구성

Question

이 로봇 파일에 대해 약간의 의문점이 있습니다.

User-agent: * 
Disallow: /administrator/ 
Disallow: /css/ 
Disallow: /func/ 
Disallow: /images/ 
Disallow: /inc/ 
Disallow: /js/ 
Disallow: /login/ 
Disallow: /recover/ 
Disallow: /Scripts/ 
Disallow: /store/com-handler/ 
Disallow: /store/img/ 
Disallow: /store/theme/ 
Disallow: /store/StoreSys.swf 
Disallow: config.php 

이렇게하면 각 폴더의 모든 파일에 대해 크롤러가 사용 중지됩니다. 아니면 각 폴더 이름의 끝에 별표를 추가해야합니까?

나는 이것이 그렇게해야한다고 생각한다. 하지만 User-agent 바로 뒤에 Allow: /을 추가해야하는지 확실하지 않습니다. 필요하지 않다고 생각합니다.

이 로봇 파일에 문제가 있습니까?

추신 : 누군가가 현지에서 사용할 수있는 유효성 검사 앱을 제안 할 수 있다면 기쁩니다.

감사합니다.

Answer 1

원하는대로 이해하면 괜찮습니다. 예 :

/administrator/ 
/css/subpage 

모두 차단하지만

/foo 

허용된다. Allow는 이전의 Disallow를 상쇄하기 위해 설계된 지원되지 않는 Extension입니다. 예를 들어 귀하의 컴퓨터에도 불구하고 귀하가 사용하는 경우에 사용할 수 있습니다.

Disallow: /images/ 

특정 이미지를 허용 할 것인지 결정할 수 있습니다. 따라서

Allow: /images/ok_image 

다른 모든 이미지는 차단 된 상태로 유지됩니다. 체커 목록을 포함하여 자세한 정보는 http://www.searchtools.com/robots/robots-txt.html을 참조하십시오.