2
/robots.txt 페이지에서 이것이 의미하는 바는 무엇입니까?"User-agent : * Disallow : /"는 무엇을 의미합니까?
User-agent: *
Disallow:/
검색 엔진에서이 웹 사이트의 결과를 검색하고 가져올 수 없다는 뜻입니까? 예를 들어 Google이 Google을 차단합니까?
A
답변
3
임의의 페이지를 색인 생성하는 것 (우수) 봇 (예 : Googlebot)을 차단합니다. this page에서
:
"사용자 에이전트 : *"이 부분은 모든 로봇에 적용을 의미한다. "Disallow : /"는 로봇에게 페이지의 어떤 페이지도 방문하면 안된다는 것을 알려줍니다. /robots.txt와 사용하는 경우
두 가지 중요한 고려 사항이 있습니다 :
- 로봇이 /robots.txt와를 무시할 수 있습니다. 특히 은 웹에서 보안 취약성을 검색하는 멀웨어 로봇이며, 스패머가 사용하는 이메일 주소 수확기는 아무런주의를 기울이지 않습니다.
- /robots.txt 파일은 공개적으로 사용 가능한 파일입니다. 누구든지 서버의 섹션에서 로봇이 사용하지 못하도록 할 수 있습니다.
+0
에 관한 것이기 때문에 논점의 여지가없는 것처럼 보입니다. 그러나 악성 코드 또는 잘못 코딩 된 봇이 계속 페이지를 색인 할 수 있습니다. – user2366842
+0
@ user2366842 나는 내가 충분히 그것을 커버했다고 생각합니다. – Mooseman
+0
는 내 게시물 바로 앞에서 편집 한 것처럼 보입니다. – user2366842
1
robots.txt specification을 참조하십시오.
User-agent: *은 robots.txt를 지원하는 모든 봇 (예 : User-agent: BotWithAName과 같은 특정 기록이 없습니다)과 일치합니다.
Disallow: /은 봇이 호스트의 모든 것을 크롤링하는 것을 금지합니다.
모든 로봇이 robots.txt 파일을 지원하고 존중하지는 않습니다.
관련 문제
- 1. JS $는 무엇을 의미합니까?
- 2. new()는 무엇을 의미합니까?
- 3. "UIBackgroundTaskInvalid"는 무엇을 의미합니까?
- 4. `module.exports.instance`는 무엇을 의미합니까?
- 5. PHP에서 "++"는 무엇을 의미합니까?
- 6. * array []는 무엇을 의미합니까?
- 7. Perl에서 '//'는 무엇을 의미합니까?
- 8. * (void **)는 무엇을 의미합니까?
- 9. Java에서 "%%"는 무엇을 의미합니까?
- 10. SootMethod.getSubSignature()는 무엇을 의미합니까?
- 11. 파이썬에서 + =는 무엇을 의미합니까?
- 12. PHP에서 "? :"는 무엇을 의미합니까?
- 13. 햄에서 "-"는 무엇을 의미합니까?
- 14. /**/또는/** /는 무엇을 의미합니까?
- 15. "@ + id"는 무엇을 의미합니까?
- 16. text! = ""는 무엇을 의미합니까?
- 17. CKEditor에서 $는 무엇을 의미합니까?
- 18. channel.id()는 무엇을 의미합니까?
- 19. VB에서 "& _"는 무엇을 의미합니까?
- 20. CSS에서 "~"는 무엇을 의미합니까?
- 21. 포트란에서 "%"는 무엇을 의미합니까?
- 22. %는 무엇을 의미합니까?
- 23. Linux에서 $는 무엇을 의미합니까?
- 24. 파이썬에서 ++는 무엇을 의미합니까?
- 25. wp_verify_nonce()는 무엇을 의미합니까?
- 26. ^{}는 git에서 무엇을 의미합니까?
- 27. "**"는 파이썬에서 무엇을 의미합니까?
- 28. `@ '는 파이썬에서 무엇을 의미합니까?
- 29. `_TYPE_fpos_t;는 무엇을 의미합니까?
- 30. ##는 C에서 무엇을 의미합니까?
이 질문은 SEO –