1
검색 엔진이 robots.txt를 호스팅하지 않는 웹 사이트를 크롤링하지 않아야합니까?robots.txt 부재시 어떤 규칙이 적용됩니까?
편집 1 : 로봇 메타 태그가 없어도 어떨까요? 나는 여기에 관련된 합법성을 결정하려고 노력하고있다. 그게 전부 야.
A
답변
5
검색 엔진은 robots.txt 파일이없는 사이트에서 공개적으로 액세스 가능한 모든 페이지를 크롤링합니다.
관련 문제
- 1. Robots.txt :이 와일드 카드 규칙이 유효합니까?
- 2. 메이크 파일에는 암시 적 규칙이 언제 적용됩니까?
- 3. 960.gs를 사용하는 웹 사이트 100 % 화면 너비를 채우는 div에 어떤 CSS 규칙이 적용됩니까?
- 4. "현재 위치를 사용하고 싶습니다"라는 UIAlert 메시지가 표시 될 때 어떤 규칙이 적용됩니까?
- 5. 다른 FindBugs reportLevels에는 어떤 버그가 적용됩니까?
- 6. robots.txt 윤리
- 7. robots.txt 구성
- 8. robots.txt는 파일/디렉토리에만 적용됩니까? 아니면 URL에도 적용됩니까?
- 9. JSON에는 + json 접미사 규칙이 있습니까?
- 10. robots.txt 파서 java
- 11. 어디에 robots.txt 파일을 넣으시겠습니까?
- 12. robots.txt 파일을 어디에 둘까요?
- 13. robots.txt 및 상대 경로
- 14. robots.txt 파일 dissallow 옵션
- 15. 의 robots.txt 및
- 16. 아파치는 규칙이
- 17. htaccess로 규칙이
- 18. YAGNI가 데이터베이스 디자인에 적용됩니까?
- 19. Android 권한은 어떻게 적용됩니까?
- 20. 언제 MaxTextureRepeat 제한이 적용됩니까?
- 21. 셀리에서는 rate_limit이 어떻게 적용됩니까?
- 22. 웹 사이트를 디자인하고 구현할 때 어떤 모범 사례와 규칙이 있습니까?
- 23. Robots.txt : 주요 SE 만 허용
- 24. robots.txt 파일 허용 및 금지
- 25. iPhone - 버튼을 누르면 애니메이션이 적용됩니까?
- 26. JQuery 호버는 마지막 요소에만 적용됩니까?
- 27. 레일 직렬화. 여기에 잘 적용됩니까?
- 28. 자동 마스크는 iOS에서 언제 적용됩니까?
- 29. 마지막 정수 승격 규칙은 C에서 어떻게 적용됩니까?
- 30. 이 mod_rewrite 규칙이 맞습니까?
당신이 말해야한다고 생각합니다 대신 –
@David 당신 말이 맞아요, 제 잘못. 또한 개별 페이지의 ''태그에 따라 달라집니다 –
로봇 메타 태그가 없어도 어떨까요? 나는 여기에 관련된 합법성을 결정하려고 노력하고있다. 그게 전부 야. –