Robot.txt 특수 문자가 허용되지 않음

Question

예제 링크 upload.php? id = 46. 나는 모든 링크 ie ie = 1,2,3을 허용하고 싶지 않다. 특수 문자를 사용하여 어떻게 할 수 있습니까?

이 방법이 저에게 적합합니까?

disallow:/upload.php?id=* 

Answer 1

예제는 주요 검색 엔진에서 제대로 작동하지만 마지막 *은 필요하지 않으므로 와일드 카드를 지원하지 않는 구형 로봇에서는이 행을 무시하게됩니다. Disallow 지시어는 기본적으로 "다음으로 시작하는 모든 것을 차단"을 의미합니다. 끝 부분에 와일드 카드를 넣는 것은 불필요하며 일치 할 내용에는 아무런 영향을 미치지 않습니다. 와일드 카드는 원래 robots.txt 사양의 일부가 아니므로 모든 로봇이 지원하지는 않습니다. 주요 검색 엔진은 모두 그렇지만 많은 구형 로봇은 그렇지 않습니다. 다음은 예제와 정확히 일치하지만 와일드 카드가없는 경우입니다.

User-agent: * 
Disallow: /upload.php?id= 

Answer 2

왜 upload.php 파일에서 헤더를 사용하지 않는가? 나는. 입력 :

header("X-Robots-Tag: noindex, nofollow", true); 

upload.php의 맨 위에. Apache를 사용하여 파일을 제공하는 경우 구성 파일에 규칙 기반 헤더를 설정할 수도 있습니다.