robots.txt의 Regexp

Question

robots.txt를 설정하려고하는데 정규 표현식에 대해 잘 모르겠습니다.

3 가지 언어로 제공되는 4 개의 다른 페이지가 있습니다. 각 페이지 시간 3을 나열하는 대신 정규 표현식을 사용할 수 있다고 생각했습니다. nav.aspx
page.aspx/changelang (쿼리 문자열은 "? toLang = FR"로 연결했을 수 있습니다.)
mypage.aspx? ID 및
login.aspx

/로그 오프 (= 12346? ... 등 - 매번 다른)

! 네 3에서 다른 언어, 예를 들면 :

www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav. aspx

이제 내 질문은 : 다음 정규 표현식이 맞습니까?

User-Agent: * 
Disallow: /*nav\.aspx$ 
Disallow: /*page.aspx/changelang 
Disallow: /*mypage\.aspx?id 
Disallow: /*login\.aspx\/logoff 

감사

Answer 1

정규 표현식은 robots.txt에 허용되지 않지만 Google 검색 (그리고 다른 로봇) 할 수있는 몇 가지 간단한 패턴 매칭을 이해 :

다음과 같아야합니다 귀하의 robots.txt :

User-agent: * 
Disallow: /*nav.aspx$ 
Disallow: /*page.aspx/changelang 
Disallow: /*mypage.aspx?id 
Disallow: /*login.aspx/logoff 

User-agent 지시자는 하부 케이스 a 유효하다. . 또는`/ '를 이스케이프하지 않아도됩니다.

자세한 내용은 여기를 참조하십시오. Block or remove pages using a robots.txt file