URL을 지정 한 후에도 robot.txt 파일에서이 오류가 발생하는 이유는 무엇입니까?

Question

robot.txt 파일에서 나는 URL /custompages/*을 넣었으며 google bot은 "/ custompages /"와 일치하는 페이지를 크롤링해서는 안됩니다.

하지만 웹 마스터를 살펴본 후에도 해당 링크에서 오류 메시지가 계속 표시됩니다.

User-agent: *   
Disallow: /search/application/* 
Disallow: /custompages/* 

위는 내 robot.txt 파일입니다. 웹 마스터에

내가 잘못이 일어날 수있는 URL

custompages/savesearch?alid=9161

에 대한 Googlebot couldn't access the contents of this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request. 을 볼 수 있습니다 ..?

Answer 1

Disallow: /search/application/ 
Disallow: /custompages/ 

충분하면 * 기호는 필요하지 않습니다.