0
Google이 내 사이트 전체를 크롤링하지 못하도록하고 싶습니다. Google에서 우선 순위가 높은 & 등을 알려주는 사이트 맵은 제외합니다. 이것은 나쁜 생각입니까? robots.txt에서 어떻게해야합니까?robots.txt를 사용하여 내 사이트 맵만 크롤링하십시오.
A
답변
0
Google 크롤러에서 전체를 닫으면 Sitemap.xml도 크롤링되지 않습니다.
감사합니다.
관련 문제
- 1. Robots.txt를
- 2. robots.txt를 사용하여 /? param = X
- 3. 블록 Robots.txt를
- 4. HttpWebRequest는 .NET에서 robots.txt를 준수합니까?
- 5. Robots.txt를 http://example.com vs.http : // www.example.com
- 6. 웹 사이트 응용 프로그램에 robots.txt를 써야하는 이유는 무엇입니까?
- 7. 누구가 robots.txt를 분석하고 그것에 대하여
- 8. Nokogiri를 사용하여 Robots.txt를 존중하는 방법은 무엇입니까?
- 9. 내 사이트
- 10. # Robots # 또는 Robots.txt를 사용해야합니까?
- 11. Robots.txt를 우선 질문
- 12. Plone에서 robots.txt를 어떻게 수정합니까?
- 13. Google에서 내 사이트 맵을 웹 페이지로 색인합니다.
- 14. BingBot & BaiduSpider는 robots.txt를 존중하지 않습니다.
- 15. 내 사이트
- 16. Google에서 Django 애플리케이션에 robots.txt를 추가하는 방법은 무엇입니까?
- 17. htaccess로 내 사이트를 처리하는 동안 robots.txt를 사용할 수 있습니까
- 18. 내 사이트 파일 확인 사이트
- 19. robots.txt를 업데이트하거나 생성하는 Wordpress 함수
- 20. robots.txt를 사용하여 전자 메일 주소를 허용하지 않을 수 있습니까?
- 21. 검색 스파이더가 robots.txt를 사용하여 레일스 3 중첩 리소스에 액세스하지 못하도록합니다.
- 22. 내 웹 사이트 호스팅
- 23. 내 사이트 URL 설정
- 24. 내 웹 사이트
- 25. 사이트 내 배경 음악
- 26. 내 머리글이있는 외부 사이트
- 27. 내 사이트 쇼 오류
- 28. 방법은 내 사이트 사용자에
- 29. 내 사이트 URL이
- 30. htaccess로와 robots.txt를 재 작성 URL이 방법
왜 Google에서이 작업을 중단 하시겠습니까? 그리고 robots.txt를 열어서 다음을 허용 할 수 있습니다. * 및 사이트 맵만 허용 –
사이트 맵을 2 버전으로 만들고 싶습니다. 하나는 'robots.txt'라고하며 robot.txt 규칙에 따라 형식이 지정됩니다. 다른 하나는 인간을위한 것입니다. – AllInOne