robots.txt를 사용하여 특정 URL 매개 변수를 차단할 수 있습니까?

Question

'무엇을 시도 했습니까?'하고 '직접 테스트 해주십시오'라고 말하기 전에 robots.txt 업데이트가 매우 느림을 알려드립니다. 내 사이트 검색 엔진의 모든 사이트이므로 이론적 인 경험을 제공 할 수 있다면 감사하겠습니다.

예를 들어, 수 있도록하는 것입니다 :

http://www.example.com 

그리고 블록 :

http://www.example.com/?foo=foo 

내가 아주 확실하지 않다.

도움 말?

Answer 1

Wikipedia에 따르면,는 "robots.txt에 패턴은 간단한 문자열 비교에 의해 일치"및 GET 문자열이 URL이기 때문에 당신은 추가 할 수 있어야한다 :

Disallow: /?foo=foo 

또는 뭔가 더 화려한를

처럼

Disallow: /*?* 

모든 가져 오기 문자열을 사용 중지합니다. 별표는 와일드 카드 기호이므로 한 문자 또는 여러 문자와 일치합니다.

Example of a robots.txt with dynamic urls.