robots.txt

0열

1답변

내가 좋아하는 robots.txt에 대한 몇 가지 문자열이 필요합니다 disallow: /article/*/ 하지만이 작업을 수행하거나하지 않도록 적절한 방법인지 모르겠어요! /article/hello /article/123 따라야있다 : I은 예를 들면 것이 필요 하지만 : /기사/인사/편집 /기사/768분의 123 & 마지막 라인

0열

1답변

줄 단위로 jsoup로 robot.txt 읽기

jsoup를 사용하여 robot.txt 파일을 읽으려고합니다. 이 파일을 한 줄씩 읽고 줄을 허용/허용/useragent/sitemap 여부를 식별하고 싶습니다. Jsoup를 사용 나는 다음을 수행하십시오 robotfile = Jsoup.connect (U) 갔지(); robotfile.text(); 80legs 사용자 에이전트 : 008 허용 안 :/사용

3열

1답변

구글은 여기에

내 robots.txt 파일의 콘텐츠를 내 robots.txt를 무시 : 당신이 볼 수 있듯이 User-agent: * Disallow: /images/ Disallow: /upload/ Disallow: /admin/ , 내가 명시 적으로 폴더 images, upload 및 admin 인덱스에 모든 로봇을 허용. 문제는 내 클라이언트 중 하나가

-2열

1답변

하위 도메인에 Robots.txt 파일을 설정하는 방법은 무엇입니까?

저는 blog.example.com과 같은 하위 도메인을 가지고 있으며이 도메인을 Google이나 다른 검색 엔진이 색인하지 않기를 바랍니다. User-agent: * Disallow:/ 그것으로하지 Google의 인덱스에 괜찮을까요 : 나는 다음과 같은 구성으로 서버에 '블로그'폴더 내 robots.txt 파일을 넣어? 내 사이트 며칠 전 : blog

0열

1답변

Jquery에서 Require가 정의되지 않았습니까?

jquery를 통해 robots.txt를 구문 분석하는 방법이 있습니까? "필요"기능은 무엇입니까? lib https://github.com/ekalinin/robots.js에 있습니까? 내가 Jquery.How에서 필요로 실행할 수 없습니다 var ut = require('./utils'); 내가 그것을 해결합니까?

3열

1답변

robots.txt의 특정 크롤러 봇에 특정 사이트 맵을 할당하는 방법은 무엇입니까?

일부 크롤러는 Google 용으로 만든 사이트 맵 버전이 마음에 들지 않으므로 다른 사이트 맵을 만들었습니다. 와의 robots.txt에 Sitemap: http://example.com/sitemap.xml 을 넣을 수있는 옵션이 있습니다. 그러나 가능하면이처럼 좀 넣어하기 : User-agent: * Sitemap: http://example.co

0열

1답변

Robots.txt : ALLOW Google 글꼴

나는 Google 웹 마스터 도구로 내 웹 사이트를 테스트 해왔고 "Googlebot으로 가져 오기"를 시도 할 때 "부분적"상태와 3 개의 외부 css 파일, 즉 3 Google 글꼴은 로봇에 의해 어떤 이유로 차단되었습니다. txt. 파일을 액세스 말했다 방지 할 수 그것으로 뭔가 잘못 User-agent: * Disallow: Disallow: /

0열

1답변

php apache 환경에서 robots.txt를 사용하여 특정 URL로 봇을 차단하십시오.

이상한 경우 Yandex 봇이 내 웹 사이트를 엄청나게 오버로드하고 있습니다. 문제는 내 것이 분명하다. 웹 사이트에서 Ajax 필터를 활성화했지만 꽤 많이 무겁다. 봇처럼 모두 호출된다. 많은 robots.txt으로 시도했지만 효과가 없습니다. 차단해야 할 URL의 종류는 다음과 같습니다. /de/component/customfilters/0-zu-15-

5열

3답변

Sitemap에 robots.txt에 의해 차단 된 URL이 포함되어 있습니다.

Wordpress 사이트에 약 7 일 동안 크롤링을 허용하지 않는 robots.txt가 설정된 우발적 인 상황이있었습니다. 지금은 정리 작업을하고 웹 마스터 도구에는 "Sitemap에 robots.txt에 의해 차단 된 URL이 포함되어 있습니다."라고 표시됩니다. . I "는 robots.txt를 조정했습니다 및 크롤링하여 허용 한 후 URL이 여전히 차

0열

1답변

사이트 맵/robots.txt 설정 충돌

My robots.txt는 다음과 같은 규칙이 포함되어 있습니다. /api/*과 일치하는 모든 URL이 크롤링되지 않도록하고 싶지만 /apiDocs은 크롤링 할 수 있습니다. 이것을 달성하기 위해 어떻게 내 robots.txt을 변경해야합니까?