robots.txt 및 상대 경로

Question

내 사이트의/tmp 폴더에있는 파일을 허용하지 않습니다. 예 : 나는 가지고있다 : "/anything/tmp/whatever/test.html", "/stuff/tmp/old/test.html", "/people/tmp/images.html"등등.

는 충분히 내 웹 서버의 전체 파일 시스템에있는 tmp 폴더를 차단하기 위해 robots.txt로/허용 TMP /를 넣을 수 있나요? 사용 해제/아무것도/tmp를/ 사용 해제/재료/tmp를/ 해제하면/tmp를/

또는 같은

: 허용 안/*/tmp를/

감사 또는 내가 좋아하는 모든 단일 경로를 넣어해야합니까

Answer 1

똑바로 대답 : NO

당신은 로봇에서 제외 할 각 디렉토리를 선언해야합니다.

User-agent: * 
Disallow: /anything/tmp/ 
Disallow: /stuff/tmp/ 

당신은 그것을 실제로 REP 파서에 따라 http://www.robotstxt.org/orig.html

Answer 2

@ 로봇 제외에 대해 자세히 알아보기 http://www.frobee.com/robots-txt-check
@ robots.txt 파일의 구문을 확인할 수 있습니다. 고급 구문 분석기는 와일드 카드 구문을 인식하지만 original spec의 일부가 아닙니다. 말했다

, Google 와일드 카드를 존중한다. 그들의 파서에 따르면 :

/fish*.php 
Does Match: 
    /fish.php 
    /fishheads/catfish.php?parameters 
Does Not Match 
    /Fish.PHP