기본적으로 내 고객 구글 웹 마스터 도구에 젠토 웹 사이트의 URL을 차단할 수 있습니다하면 인덱스 상태 페이지에 우리가 1911 페이지가 그, 정말 이상한 결과를 보여주고있다 그리고 우리가 나타났습니다이 색인 생성되었습니다. 이제이 비트가 올바르지 만 고급 탭을 클릭하면 6,947 URL이 차단 된 것으로 나타납니다. 이제 질문이 필요합니다. 6,947 URL이 차단되었을 때 웹 사이트에만 1,911 페이지의 색인이 생성 되었습니까?젠토 - robots.txt에 Google 웹 마스터 도구
이제 차단 된 URL이 Magento 내에있는 중복 된 이미지 일 수 있습니다. 나에게 이것은 우리 시스템에서 많은 중복 이미지가있는 것처럼 의미가 있지만, 이것이 차단 된 URL의 원인인지 확신 할 수 없습니다.
또 다른 문제는 robots.txt 파일 자체에있을 수 있습니다. 그래서 파일을 살펴보고 모든 것이 잘 보였지만 'Disallow :/404/'과 같은 각 줄이 잘못된 방향을 가리킬 수 있습니다. 나는 '/ 404 /' 절에서는 루트 것 같아요 웹 사이트의 'public_html이' 섹션 내에 있도록
의 Clients 웹 사이트는 서버의 루트에 위치해있다. 그래서 다음과 같이 robots.txt 파일 내의 각 줄의 시작 부분에 웹 사이트 폴더 이름을 추가해야합니다 :/[Folder_Name]/404 /?
이 점을 이해하는 데 도움이된다면 벽에 부딪힌 것 같은 기분이들 것입니다. 나는 그것이 도움이 될 수 있다면 Magento 버전이 1.5라고 생각한다.
도움을 다시 주셔서 감사합니다.
의 robots.txt 파일의 코드 서버는 중요하지 않습니다 폴더를 처리하는 방법
User-agent: *
Allow:/
Sitemap: http://www.websitename/sitemap.xml
# Directories
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /skin/
Disallow: /stats/
Disallow: /var/
# Paths (clean URLs)
Disallow: /index.php/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt
# Paths (no clean URLs)
Disallow: /*?p=*&
Disallow: /*?SID=
Disallow: /*?invis=
Disallow: /*?tag=
Disallow: /*?osCsid=
Disallow: /*?manufacturers_id=
Disallow: /*?currency=
http://webmasters.stackexchange.com/ 사이트에서 운이 더 좋을지도 모릅니다. –
웹 마스터 도구에 로그인 한 후 크롤링의 차단 된 URL 섹션으로 이동하면 robots.txt에서 귀하의 사이트에 어떤 원인이 있는지 정확히 알 수 있습니다. – Prateek
당신은 정말로 당신의 로봇을 통과해야합니다. 그것은 필요하지 않은 많은 규칙을 가지고 있습니다. – Prateek