의 robots.txt 형식은 루트 URL 자체

Question

내 응용 프로그램의 URL은 ... 다음

http://example.com/app/1

http://example.com/app/2

http://example.com/app/3

처럼하지 URLsbut

http://example.com/app/n

가 지금은 크롤링에서 모든 URL을 차단하려는 있지만이 http://example.com/app 나는이 사용하는 robots.txt를 할 수있는 방법

Answer 1

이것은 http://example.com/app을 허용하려면 robots.txt

Disallow: /app/ 

에 다음을 추가하지만, not http://example.com/app/ * 여기에서 robots.txt를 테스트 할 수 있습니다. https://www.google.com/webmasters/tools/robots-testing-tool