robots.txt

0열

2답변

는 워드 프레스 사이트 메타 로봇 태그에 이상한 문제가 발생했습니다. 모든 페이지는 다음의 메타 태그를 가지고 우리가 제거하는 것 어차피 그것은 <meta name="robots" content="noindex,follow"/> 우리가 선택하지 않은 설정> 읽기> 검색 엔진 가시성에 "이 사이트를 색인 검색 엔진을 낙담"하지만 아무것도하지 않습니다.

1열

1답변

http를 통해 robot.txt에만 액세스 허용, https에서는 다른 액세스 허용

https에서 내 모든 트래픽을 리디렉션하고 싶습니다. http를 통해 robot.txt에 액세스 할 수 있어야합니다. robot.txt 파일에 예외를 생성 할 수 있습니까? 내 htaccess로 파일 : RewriteEngine On RewriteCond %{SERVER_PORT} !^443$ RewriteRule (.*) https://%{HTTP_

1열

1답변

는 robots.txt 내가 특정 사이트에서 정보를 좀하고 싶습니다 기어 지연

모든 허용, 나는 그것을 크롤링 할 수 알아보기 위해 확인. robots.txt 파일에는 15 개의 다른 사용자 에이전트에 대한 고려 사항이 있으며 그 다음에는 다른 모든 사용자 에이전트에 대한 고려 사항이 있습니다. 내 혼란은 다른 모든 성명서 (나 포함)에서 비롯됩니다. 나는이 제대로 사이트가 더 권한이없는 사용자 에이전트는 크롤링 없다는 것을 요구하고

0열

1답변

robots.txt를 사용하여 블로거 blogspot에서 사이트를 제거하는 방법

블로거 닷컴의 블로그에 문제가 있습니다. 블로그를 삭제하고 링크를 액세스하려고 시도하는 사람이 있으면 404 오류가 표시됩니다. 블로그를 삭제하는 방법에 대한 인터넷의 지침을 보았습니다.하지만 삭제하고 링크에 액세스하면 다시 액세스하려면 Google에 로그인해야한다는 표시가 나타납니다. 다른 블로그에서도 robots.txt를 사용해야합니다. 도와주세요! 미

0열

1답변

Magento CE 1.9.0.1 robots.txt가 호출 될 때 표시되지 않습니다.

robots.txt를 public_html (권한 755)에 넣고 브라우저에서 websitename/robots.txt로 보려고하면 magento에서 오류가 발생합니다. 유지 보수 중단 시간 또는 용량 문제로 인해 서버가 일시적으로 요청을 처리 할 수 없습니다. 나중에 다시 시도 해주십시오. CE 1.9.0.1 나머지 사이트는 정상적으로 작동합니다. r

0열

1답변

프론트 엔드의 SID - 찬성/반대 - 거부 하시겠습니까?

프런트 엔드에서 SID를 사용하는 것이 장단점은 무엇입니까? 무엇을 추천하나요? Google이 색인을 생성해서는 안된다고 생각합니다. 또한 http://www.uretilalt.dk/brands/copha-ure?SID=a44apq55dg17192fj345bnb6m6 : 그리고 우리가 어떻게 같은 확인 URL을해야합니까 http://www.uretilalt

6열

1답변

Django - 일반 뷰를 통해 Robots.txt로드

프로덕션 서버의 템플릿 디렉토리에 robots.txt를 업로드했습니다. 나는 일반적인보기를 사용하고있다. from django.views.generic import TemplateView (r'^robots\.txt$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain'

0열

1답변

robots.txt 파일로 몇 개의 이미지를 색인 생성하는 방법

내 웹 사이트에있는 이미지 몇 개를 색인하고 싶습니다. 로봇에서 색인 생성을 거부하는 방법은 무엇입니까? , 색인 안 된 이미지의 User-agent: Googlebot User-agent: Slurp User-agent: msnbot User-agent: Mediapartners-Google* User-agent: Googlebot-Image U

0열

1답변

robots.txt, favicon 및 다른 파일을 다른 디렉토리에 넣기

정적 파일에 대한 고유 한 디렉토리가 있기 때문에 내 favicon, robots.txt, sitemap 및 다른 파일을 같은 유형으로 이동하려고합니다. 나는이 SEO의 관점에서 내 웹 사이트를 해치지 않을 것, 궁금 my_website.com/my_files_path/favicon.ico , my_website.com/robots.txt, my_websi

0열

1답변

이 Ip 범위를 차단해야합니까?

내 사이트에 사용자 에이전트로 로봇을 식별하지 못하는 크롤러가 있습니다. IP 주소의 하나입니다 131.161.8.197 봇의 모든 131.161의 IP 범위에 속한다. 명백하게 그것은 ipwhois에 근거를 둔 "brasil baidu"다. ips의 전체 범위를 차단해야합니까?