의 robots.txt 언어

Question

와 경로를 제외하십시오/EN/버전뿐만 아니라,도/다 /,/드/등 http://www.examplepage.com/en/testing

그러나 (당신은 나의 요점을 얻는다).

어떻게하면 가장 똑똑한 방법일까요? 모든 언어로 같은 페이지를 쓰지 않고도 허용하지 않습니다./*하는

을 테스트하지만 난 그것은 또한 같은 다른 페이지 허용하지 않습니다 것을 발견 : 허용 안 :/*/테스트 및 허용 안 함을

나는 노력 http://www.examplepage.com/en/news-page/testing이

그것은 단지 허용한다 등 내 게시물의 시작 부분에 지정된 경로.

Answer 1

robots.txt의 자리 표시 자/RegExp 사용은 매우 제한적이고 신뢰할 수 없습니다. 자세한 내용은 다음 질문을 참조하십시오. Regexp for robots.txt

모든 언어를 개별적으로 나열하거나 모든 규칙을 포함하는 목록을 출력하는 스크립트를 작성하는 것이 가장 좋은 해결책 일 수 있습니다.