우리 사이트는 ASP.NET에서 개발되었습니다. 우리는 Google 및 다른 검색 엔진에서 Default.aspx 페이지를 차단하려고합니다. 어떻게 Default.aspx 페이지를 "닫아"액세스 할 수 없습니까? 또는 중복 된 콘텐츠를 만들지 않도록 문제를 해결할 다른 방법이 있습니다.
스크립트에 대한 링크가 포함 된 사이트의 평가 시스템을 구현했습니다. 그러나 사이트의 3/5 평가와 1 ~ 5 등급 평가의 대부분이 검색 엔진 크롤러 등이 통과하고 있다고 의심하기 시작했습니다. 사용되는 URL은 다음과 같이 : User-agent: *
Disallow: /rate
이가 부정확하거나 Googlebot이 다른 사람들이 단순히 우리의 ro
난 다음 사용자 에이전트 수행해야합니다 *를 허용 안 : 그것은 그렇게 간단/ 입니까? 또는 루트의 파일을 크롤링하지 않습니까? 은 기본적으로 즉 난 후 나는 무엇을 - 모든 에서 모든 파일/루트의 페이지가 아니라 폴더 중 하나를 크롤링 또는 내가 명시 적으로 각 폴더를 지정해야 할 것입니다 .. 즉 사용 해제 :/관리자 허용 안 : /이 등등 감사 NAT
Google을 사용하여 주변을 검색했지만이 질문에 대한 답변을 찾을 수 없습니다. robots.txt 파일에 다음 행이 포함될 수 있습니다 Sitemap: http://www.mysite.com/sitemapindex.xml
을하지만 robots.txt에 여러 사이트 맵 색인 파일을 지정하고 검색 엔진이 인식해야하고, 사이트 맵의 전체를 크롤링 할 수
I 다음 robots.txt에 User-agent: *
Disallow: /images/
Sitemap: http://www.example.com/sitemap.xml
다음과 같은 robotparser을했습니다 def init_robot_parser(URL):
robot_parser = robotparser.RobotFileParser()
어디에 robots.txt를 넣어야합니까? domainname/public_html/robots.txt
domainname.com/robots.txt
또는 나는 domainname.com/robots.txt에 파일을 배치,하지만 브라우저에서 입력 할 때 열거 아니에요. 파일이 파일 시스템에 간다 alt text http://shup.com/Shup/
사용자가 프로필을 입력하고 특정 세부 정보를 암호로 보호 할 수있는 사이트가 있습니다. 검색 엔진이 프로필의 '보호되지 않은'부분을 크롤링하도록합니다 (사용자마다 다릅니다). 페이스 북에 사용자의 이름을 입력하면 Facebook 프로필이 검색 결과에 나타나게되는 것과 유사합니다. 봇이 비밀번호로 보호 된 섹션을 크롤링하지 않지만 항상 (항상 공개) 사용자
최근 WordPlugin을 사용하여 내 사이트의 robots.txt 파일을 편집했습니다. 그러나, 내가 이것을 한 이후, 구글은 검색 페이지에서 내 사이트를 제거한 것으로 보인다. 이것이 왜 그렇게, 그리고 가능한 해결책에 대한 전문가 의견을 얻을 수 있다면 고맙겠습니다. 처음에는 Google에서 액세스하는 페이지를 제한하여 검색 순위를 높이기 위해이 작업
* 검색을 차단하는 가장 짧은 방법은 무엇이며 주요 검색 엔진 만 사이트의 색인 페이지 만 색인화 할 수 있습니까? User-agent: *
Disallow:/
User-agent: Googlebot
Disallow:/
Allow: index.html
User-agent: Slurp
Disallow:/
Allow: index.html
User