robot.txt 대신 허용하지 않음

Question

내 앱에 동적 URL이 거의 없으므로 허용되지 않는 robots.txt 파일이 있습니까? Like

User-agent: * 
allow:/
allow: /blog 

또는 이렇게해야합니까?

User-agent: * 
Disallow: /users/* 

Answer 1

"허용"이라고하는 것이 있습니다. 전체 폴더이지만 파일을이 방법으로 허용하지 않을 수도 있습니다.

User-agent: * 
Disallow: /folder/ 
Allow: /folder/file.php