robots.txt

3열

3답변

내 사이트의 Googlebot 색인을 생성합니까? 내 robots.txt 파일에

, 나는 다음 줄을 사용자 에이전트가 : Googlebot이 모바일 허용 안 :/ 사용자 에이전트 : GoogleBot이 허용 안 :/ 사이트 맵 : http://mydomain.com/sitemapindex.xml http://mydomain.com/sitemapindex.xml가에서 수있을 Googlebot이됩니다 나는 내가 처음 4 개 라인을 넣어 경

2열

2답변

googlebot이 Ajaxified Links를 크롤링하지 못하게하려면 어떻게해야합니까?

나는 투표, 투표 다운, 포스트 표준 커뮤니티 중재에 대한 플래그와 같은 일을하는 ajaxified 링크를 가지고있다. 문제는 googlebot이 해당 링크를 크롤링하고, 투표하고, 투표하고, 항목에 플래그를 지정하는 것입니다. robots.txt에 추가하면 googlebot이 해당 링크를 크롤링하지 못하게됩니까? 아니면 제가해야 할 일이 있습니까? Use

3열

1답변

Robots.txt가 모든 https : // 페이지에 대한 액세스 차단

봇에 대한 모든 액세스를 https : // 페이지에 차단하는 구문은 무엇입니까? SSL을 가지고 있지 않은 기존 사이트에서 모든 https : // 페이지에 대한 액세스를 차단하고 싶습니다.

29열

10답변

robots.txt 윤리

나는 심각한 질문이 있습니다. 웹 사이트에서 robots.txt 파일의 존재를 무시하는 것이 윤리적입니까? 이 내가 마음에있어 몇 가지 고려 사항은 다음과 같습니다 누군가가 그들이 어떤 방문을 기대하고 웹 사이트를 박았합니다. 물론, 웹 크롤러는 사이트를 지원할 수있는 광고를 클릭하지 않고 대역폭을 사용하고 있지만 사이트 소유자는 자신의 사이트를 웹에 올려

6열

3답변

누구가 robots.txt를 분석하고 그것에 대하여

짧은 질문 URL을 평가할 수있는 C# 코드 가지고 : 그들은 제외 될 경우 사람이 robots.txt를 구문 분석 할 수있는 C# 코드를 가지고 한 다음에 대한 URL을 평가 그렇게 참조하거나 아니. 긴 질문 : 가 아직 Google에 출시 될 수있는 새로운 사이트에 대한 사이트 맵을 작성하고있다. 사이트 맵에는 사용자 모드 (기존 사이트 맵과 같은)와

3열

2답변

모든 검색 엔진에서 sitemap.axd를 사용할 수 있습니까?

현재 sitemap.axd로 설정된 경로와 함께 HttpHandler를 사용하여 동적으로 사이트 맵 파일을 생성 중입니다. 그런 다음 xml 콘텐츠를 반환합니다. 내 사무실에서 아무도 모든 검색 엔진이이 확장을 허용하거나 .xml을 구문 분석해야하는 경우 확실하지 않습니다. 웹 마스터 도구를 통해 Google에 제출하고 robots.txt를 사용하여 사이트

18열

3답변

Robots.txt : 주요 SE 만 허용

robots.txt를 구성하여 사이트가 Google, Yahoo!의 방문 만 허용하도록 할 수 있습니까? MSN 거미?

3열

1답변

의 robots.txt는 : 주어진 "URL을 깊이"

에 액세스하기 위해 로봇을 차단 나는이 구조에 링크가 있습니다 http://www.example.com/tags/저쩌구 http://www.example.com/tags/blubb http://www.example.com/tags/ㅋ/blubb (두 태그 모두와 일치하는 모든 항목) 구글에 &은 URL에 하나의 태그가 있지만 두 개 이상의 태그가있는 URL

18열

6답변

robots.txt 및 sitemap.xml에 대한 URL로 리디렉션하도록 nginx를 구성하는 방법

couchdb의 프록시 프런트 엔드로 nginx 0.6.32를 실행하고 있습니다. 나는 데이터베이스에 robots.txt를 가지고 있는데, 도달 할 수있는 곳은 http://www.example.com/prod/_design/mydesign/robots.txt입니다. 비슷한 URL에 동적으로 생성 된 sitemap.xml도 있습니다. server {