Robots.txt 특정 폴더 이름 허용 안 함

Question

로봇의 모든 폴더 크롤링을 허용하지 않으려는 경우 URL의 어느 위치에서든 이름이 this-folder입니다.

예를 허용합니다 :

http://mysite.com/this-folder/ 
http://mysite.com/houses/this-folder/ 
http://mysite.com/some-other/this-folder/ 
http://mysite.com/no-robots/this-folder/ 

이 내 시도 :

Disallow: /.*this-folder/ 

윌이 작품?

Answer 1

공식적으로 글 로빙과 정규 표현식은 지원되지 않습니다

http://www.robotstxt.org/robotstxt.html

을하지만 분명히 일부 검색 엔진은이 기능을 지원.