7
파일 크롤링을 허용하고 싶습니다.Robots.txt : 하위 디렉토리를 허용하지 않지만 디렉토리 허용
/directory/
/directory/subdirectory/
올바른 robots.txt 명령 :
User-agent: *
Disallow: /subdirectory/
무서워요. 내가/directory/subdirectory/ 을 허용하지 않으면/directory /에있는 모든 파일을 크롤링 할 수 없도록 할 것입니다. 그래서 사용하고 싶지 않습니다.
User-agent: *
Disallow: /subdirectory/
User-agent가 아닙니다 : * Disallow :/directory/subdirectory// directory /에있는 파일을 제거 하시겠습니까? 나는 여전히 검색 색인에있는 디렉토리에있는 파일을 원하지만 하위 디렉토리/디렉토리/하위 디렉토리/ – user523521
에있는 파일은 원하지 않습니다. 부모가 아닌 하위 디렉토리를 허용하지 않습니다. –
글쎄 ... 내 연구의 일환으로 인터넷상의 많은 사람들이/directory/subdirectory/disallow를/directory /에있는 모든 파일을 허용하지 말 것을 말하고있다 : User-agent : * Disallow :/directory/하위 디렉토리/Allow : /directory/index.html 나는 옳은 것을 찾으려고 노력하고있는 중입니까? – user523521