robots.txt에 ignrore 모든 폴더 만 루트에있는 모든 파일을 크롤링

Question

난 다음

사용자 에이전트 수행해야합니다 *를

허용 안 : 그것은 그렇게 간단/

입니까? 또는 루트의 파일을 크롤링하지 않습니까?

은 기본적으로 즉 난 후 나는 무엇을 - 모든 에서 모든 파일/루트의 페이지가 아니라 폴더 중 하나를 크롤링 또는 내가 명시 적으로 각 폴더를 지정해야 할 것입니다 .. 즉

사용 해제 :/관리자

허용 안 : /이

등등

감사

NAT

Answer 1

이 예에서는 root의 모든 파일을 모두 차단합니다.

각 폴더를 명시 적으로 지정하지 않고 원하는 것을 쉽게 수행 할 수있는 방법은 없습니다.

패턴 일치를 허용하는 일부 크롤러 (do support extensions). 패턴 매칭을 지원하지 않는 모든 로봇을 허용 할 수는 있지만 허용하는 것은 허용 할 수 있습니다.

# disallow all robots 
User-agent: * 
Disallow:/

# let google read html and files 
User-agent: Googlebot 
Allow: /*.html 
Allow: /*.pdf 
Disallow:/