나는 robots.txt에 이러한 선이있는 경우 :Robots.txt를 우선 질문
Disallow /folder/
Allow /folder/filename.php
가 filename.php가 다음 허용 할 것인가를?
Google은 어떤 순서로 줄 우선 순위를 지정합니까? 예를 들어 여기에 무슨 일이 일어날 지? 내가 주로 검색 엔진으로 여기에 구글을 언급하고
Allow/
Disallow/
. 구글은 가장 구체적인 규칙의 우선 순위를하므로
감사합니다 첫 번째 예를 들어
는, 그래, 파일 /folder/filename.php이 허용됩니다. 자세한 내용은 here 또는 check Wikipedia's article을 참조하십시오.
또한 Google은 robots.txt을 here 이상으로 사용하는 방법에 대한 자세한 설명서를 제공합니다.
편집 : 두 번째 예를 들어, Allow은 위키 백과 인용 바이런 위 틀록 (Byron Whitlock)에 따라 우선 순위가 결정됩니다.
+1 그리고 http : //에서 답변과 비슷한 질문이 있습니다. /www.webmasterworld.com/robots_txt/3090841.htm –
맞습니다. google http://code.google.com/web/controlcrawlindex/docs/robots_txt.html에 따르면 주문에 관계없이 더 긴 문자 길이의 규칙이 적용됩니다. – dqhendricks
두 번째 것을 제외하고 동의 함 (적어도 w.r.t. Google); 두 번째 경우에는 결과가 정의되지 않을 것입니다 (두 경로가 동일하게 특정 됨). 따라서 어느 한쪽으로 이동하거나 (또는 검색 엔진이 동의 할 수는 없습니다) 실제로 셀 수는 없습니다. robots.txt 파일에이 내용이 있으면 제거하거나 명확하게하십시오. –
:
표준 구현에 의해 항상 승리 일치하는 첫 번째 robots.txt에 패턴은 구글의 구현 은 에 동등 이상의 문자와 그 허용 패턴에 차이가 있지만 지시문 경로가 일치하지 않음 패턴 허용 안함. Bing은 Allow 또는 Disallow 지시어 인 을 가장 구체적으로 사용합니다. 하나는, 그렇지 않으면 허용 디렉토리 내에 단일 파일을 허용하고자하는 경우 위해서는
이 모든 로봇에 호환 될 수 있도록, 허용 지시자 (들)이 먼저 허용 안가 을 따라 을 배치하는 것이 필요하다.
BTW, 구글은 여기에 robots.txt 생성기를 가지고 : http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449 –
BTW2 : 사용 사이트 맵. http://sitemaps.org/protocol.php –
BTW3 지시문 뒤에 콜론 (":")을 추가하지 않는 한 이것들은 무시됩니다 :-) –